Revue de Presse Xebia

Mobilité

How to speed up your slow Gradle builds

Par Qian Jin

Quelques semaines après le Google I/O, voici une compilation des astuces extraites depuis la session « Speeding Up Your Android Gradle Builds » avec des explications pour accélérer les builds Gradle dans vos projets Android.

MobileNets: Open-Source Models for Efficient On-Device Vision

Par Qian Jin

Google vient de publier MobileNets, une série des modèles Mobile-First pour TensorFlow. Ces modèles sont conçus pour maximiser efficacement la précision tout en étant conscient des ressources restreintes pour une application sur les devices mobiles. La release contient la définition du modèle en utilisant TF-Slim, ainsi que 16 checkpoints de classification ImageNet pré-entrainés pour les utilisations dans les projets mobiles des toutes les tailles.

Data

Le streaming avec Spark, plus rapide que jamais

Par Loïc DIVAD

Lors du Spark Summit 2017 qui a eu lieu entre le 5 et 7 Juin un nouveau module de Spark a été annoncé : Continuous Processing. Un an après le lancement de Structured Streaming, le composent unifiant l’écriture des traitements batch en temps réel, c’est sur les temps de latence que l’entreprise Databricks a décidé de mettre l’accent cette année. Apache Spark est connu pour avoir un mode streaming basé sur un modèle micro-batch.
L’objectif de ce nouveau module est d’aller plus loin et de permettre l’application continue des requêtes définies via Structured Streaming. La sortie du mode micro batch promet un passage des latences minimales de 100 millisecondes à moins d’une milliseconde. Ce mode d’exécution est disponible sur la plateforme cloud de Databricks et son intégration à Spark est prévu pour la version 2.3.0.

Il a longtemps été question de faire de Spark le moteur de stream processing le plus facile à utiliser, avec Continuous Processing il s’agit maintenant de décrocher le titre de moteur le plus rapide.

Sparkdl, une nouvelle librairie de Deep Learning pour Spark

Par Loïc DIVAD

Le Spark Summit a aussi été l’occasion d’introduire une nouvelle librairie open source dédiée au Deep Learning sur Spark : Deep Learning Pipeline. Même si il existait déjà des initiatives comme TensorFrame ou TensorFlowOnSpark cette nouvelle librairie apporte plusieurs nouvelles fonctionnalités :

• Un import et décodage distribué d’image pour de la classification.
• Le transfert learning qui permet d’apprendre à partir de modèles déjà entraînés.
• L’interaction avec des modèles développés avec Kearas ou TensorFlow.
• L’intégration aux pipelines de Machine Learning déjà existantes dans le cadre de tuning de paramètres.
• La possibilité d’enregistrer des réseaux entraînés sous forme d’UDF utilisables en SQL.

Malheureusement cette librairie n’est disponible qu’en python pour l’instant. Aucune information n’a été donnée sur l’intégration de cette librairie dans Pyspark. La question maintenant est de savoir si elle remplira son objectif en rendant accessible le Deep Learning à une population encore plus grande.

Cloud

Enfin de l’autoscaling pour DynamoDB !

Par Alexis Horgix Chotard

Amazon vient tout juste d’annoncer son ajout de la capacité d’autoscaler DynamoDB, une de ses bases de données as a service.

En effet, jusqu’à maintenant, il n’était possible de définir les « read capacity » et « write capacity » que manuellement, forçant à prévoir la charge soi-même et à adapter ces capacités en conséquence.

Désormais, il sera possible d’automatiquement augmenter ou diminuer ces capacités en se basant sur des métriques remontées par DynamoDB dans CloudWatch.

DevOps

Google et Netflix lancent Spinnaker

Par Alexis Horgix Chotard

Google et Netflix viennent d’officialiser la version 1.0 de Spinnaker, la plateforme de gestion de déploiement sur du cloud.

Alors que certains se reposent désormais sur les orchestrateurs de conteneurs (Mesos/Marathon, Swarm, Nomad, Kubernetes), d’autres travaillent toujours avec des machines virtuelles sur des Cloud publics ou privés. Dans ce cadre, une problématique constante à l’heure du continuous delivery est « comment déployer proprement et automatiquement ? »; canary release, blue/green deployment, et tant d’autres méthodes chacune adaptée à des besoins différents.

Spinnaker, créé par Netflix il y a 3 ans, a pour objectif d’être ce gestionnaire de déploiement. Un remplacement Open Source qui semble très crédible face au « scotch » habituel avec CloudFormation (côté AWS) et leurs « ReplacingUpdates » et « RollingUpgrades » qui ne vont souvent pas assez loin et forcent à finir le travail soi-même avec des lambdas.