Retour sur le « Paris Spark meetup », avec la présence de Sean Owen de Cloudera

Le 11 juin dernier, le Paris Spark Meetup a réuni plus de 280 personnes à la Société Générale.

Avec l’aide de notre partenaire technologique , Cloudera, et Influans, nous avons mis notre expertise en commun sur Apache Spark.

Spark Apache peut beaucoup apporter aux Data Scientists : nativement distribués, des APIs REPL, Scala et Python et une bibliothèque de machine learning, MLlib. Spark 1.2 inclut une implémentation des forêts d’arbres décisionnels, un important algorithme de classification / régression. Cet exposé a permis de couvrir Spark, Scala, et les forêts d’arbres décisionnels, avec une démonstration d’analyse d’un jeu de données réelles réalisée avec ces outils.

Dans un second temps Matthieu Blanc et Julien Buret (Expert Data et CTO chez Xebia) ont présenté 2 frameworks fréquemment utilisés dans les DataLab : Spark Dataframe et Spark ML.

Julien Buret s’est penché sur la dernière version de Spark qui apporte une nouvelle API inspirée des librairies et langage d’analyse statistique. Les participants ont pu comprendre comment Spark Dataframe permettait de simplement manipuler et explorer les données en conservant la scalabilité de Spark RDD.

Puis, Matthieu Blanc a présenté spark.ML. En effet, la version 1.2 de Spark a introduit ce nouveau package qui fournit une API de haut niveau permettant la création de pipeline de machine learning. Les concepts de base de cet API ont été expliqués à travers un exemple.

Enfin, Bertrand Dechoux (Influans) a pris la parole sur  le « Search as recommendation »

Recherche full-text et recommandation perçus comme deux mondes à part ? Il est cependant possible de marier Lucene (Elastic Search/Solr) et filtrage collaboratif afin de produire un système de recommandation flexible et scalable. Une explication étayée par un aperçu des dernières sorties : la plateforme Confluent (Kafka) ainsi que Mahout 0.10 (avec Samsara).

Ce très bel événement a permis aux participants d’appréhender les technologies du Machine Learning et de la Data Sciences, devenues indispensables pour la bonne exploitation des données.

Nous espérons vous proposer très prochainement d’autres événements dans ce genre !