Big Data Analytics

Si l’on en croit les grands cabinets de consulting, 2012 sera « Big Data » ou ne sera pas. L’explosion spectaculaire des données disponibles en entreprise est à la fois une mine d’or pour comprendre en détail les interactions au sein d’une société, et un casse-tête permanent pour les CTOs et CIOs d’aujourd’hui vu les énormes challenges techniques impliqués. Les solutions de traitement de données traditionnelles (e.g., systèmes de bases de données relationnels ou systèmes de warehousing classiques) étant totalement incapables de traiter cette masse de données, un nombre toujours croissant de solutions novatrices voient le jour. La conférence XLDB (pour eXtremely Large Data Bases), organisée cette année encore à l’Université de Stanford aux Etats-Unis, a fait le point il y a quelques semaines de cela sur ce marché en pleine ébullition. Quatre tendances se dessinent notamment dans ce paysage nébuleux: 

1. Les systèmes haut de gamme dédiés : Teradata semble conforter sa place de numéro un dans ce se segment de marché, qui propose des solutions software+hardware massivement parallèles, personnalisables et dédiées. Il s’agit probablement de la solution la plus sûre (et probablement aussi la plus coûteuse) pour les Fortune 500 voulant se lancer dans l’aventure Big Data avec un minimum d’efforts R&D.
2. Les solutions basées sur MapReduce / Hadoop : plus de sept ans après son introduction, la solution de batch-processing analytique de Google monopolise toujours le buzz. Malgré une interface limitée,  la solution continue de séduire, notamment grâce à son implémentation open-source efficace (conçue initialement par Yahoo). Il est cependant intéressant de noter que son inventeur s’en éloigne peu à peu au profit d’architectures plus flexibles ou offrant de meilleurs temps de latence (voir ci-dessous).
3. Les chaînes de processing propriétaires : les géants de l’informatique, tels Google, Facebook, Amazon ou Facebook, continuent quand à eux de construire leurs propres solutions pour remédier à ce problème. Citons notamment les nouveaux systèmes de Google tels Percolator ou Dremel,  ou l’architecture Puma3 de Facebook. Il semble malheureusement que ces géants rechignent de plus en plus à publier ces systèmes en open-source, limitant de facto leur utilisation pour tout un chacun.
4. Les jeunes pousses prometteuses : un nombre croissant de petites et moyennes entreprises se lancent dans l’aventure Big Data en proposant des systèmes novateurs. Vertica, basé sur un système de stockage par colonnes et récemment acquis par HP, est considéré par beaucoup comme une alternative efficace aux systèmes relationnels classiques. D’autres solutions NoSQL (tels CouchDB ou SciDB) se profilent pour des applications spécialisées.

Pourquoi tant d’effervescence sur le marché analytique? Au-delà des applications de data warehousing classiques, un nombre toujours plus important d’entreprises utilisent les systèmes analytiques pour saisir les tendances du marché et optimiser leur processus internes.  Citons par exemple le cas de NetFlix, qui a fait de l’analytique son cheval de bataille et qui s’en est servi au jour le jour pour devenir en quelques années le numéro un mondial de l’envoi de DVD et de streaming online.

Philippe Cudré-Mauroux 

Philippe Cudré-Mauroux est professeur à l'Université de Fribourg où il dirige l'eXascale Infolab http://diuf.unifr.ch/xi/ . Il est un des initiateurs du système de traitement de données analytique open-source SciDB (http://www.scidb.org/).