IBM met au point un algorithme magique pour l’analytique

Les chercheurs du laboratoire IBM de Zurich ont battu un record dans le domaine de l’analyse des données : Une montagne d’octets, 9 To, avalés en moins de 20mn, chapeau bas messieurs ! Le secret de nos amis helvètes ? Appliquer les recettes du HPC (calcul haute performance) au monde de l’analytique. Dans le communiqué de presse d’IBM, Costas Bekas, le chercheur d’IBM qui a mis au point le nouvel algorithme qui a permis cet exploit souligne que celui-ci est capable de trier, corréler et analyser des millions de blocs de données en quelques minutes là où cela prendrait des jours sur un super ordinateur… le tout avec un algorithme de moins d’un millier de lignes !

Effectivement, un tel volume de données effectivement traitées en quelques dizaines de minutes de calcul, ça paraît impressionnant. Trop beau pour être vrai ? Difficile de le dire, car notre chercheur de précise pas quels traitement il a effectivement appliqué à ses données, et surtout il a disposé d’une machine de folie pour obtenir une telle performance. Alors, coup de bluff ou réelle avancée en algorithmique ?

Petaflop ! et ce n’est pas un jugement de valeur…

Pour parvenir à une telle performance, nos chercheurs ont eu droit à un hardware de grande classe : le Blue Gene/P du centre de recherche allemand Forschungszentrum Jülich. Une machine à record, baptisée JuGene et qui consiste en 72 racks pour retenir les 294.912 processeurs PowerPC et plus de 100To de RAM… une puissance de l’ordre du Petaflop. Vous connaissez des entreprises qui pourront mettre en ligne de telles centrales nucléaires pour traiter et charger des données dans un data warehouse ou calculer un scoring client ? Pour parer toute critique sur la débauche d’énergie engloutie par le Blue Gene/P pour mouliner ces 9 To de données, IBM annonce que pour mener son calcul, le traitement aura consommé 700 kW. A comparer aux 52.800 kW que le calcul aurait brulés si la machine avait du tourner toute une journée avec les algorithmes standards.

Un Map Reduce made in IBM ?

Mais en quoi consiste ce mystérieux algorithme ? Le communiqué officiel d’IBM n’en dévoile rien : il s’agit d’un algorithme « mathématique » (sic). Parmi ses applications potentielles : des modèles prédictifs pour la consommation d’eau, l’optimisation de la Supply Chain. On est pas bien avancé. En fait, lorsqu’on jette un œil aux publications précédentes de Costas Bekas, on voit que notre chercheur est spécialisé dans l’exploitation des architectures massivement parallèle. Le tour de force d’IBM Zurich est donc d’arriver à exploiter au mieux les près de 300.000 processeurs du JuGene dans la cadre d’une application de calcul prédictif. Le tour de force est que l’implémentation de cet algorithme ne représente qu’un millier de ligne de code. Pour l’instant le secret de cet algorithme est bien gardé. Costas en a écrit un fragment sur une vitre de son labo… on est bien avancé. Alors IBM va –t-il breveter sa trouvaille et nous proposer une smart appliance dans les semaines à venir, va-t-il publier sa trouvaille sous forme d’un projet Open Source pour le bien de tous… suspense !

Le grand BI
L'actualité satirique de la Business Intelligence et de l'analytique
www.legrandbi.com