Il y a 7 mois -

Temps de lecture 1 minute

Spark On K8S with S3? How we made it work!

Lors de la XebiCon’19, Sergio Dos Santos et Guillaume Albini, Consultants chez Publicis Sapient Engineering ont présenté la conférence « Spark On K8S with S3? How we made it work! ».

Spark, couplé à des solutions de type Object Storage, offre désormais la possibilité d’exécuter des traitements sur un Kubernetes managé sans passer par une distribution lourde à mettre en oeuvre.

Ce talk vous présentera les méthodes que l’on a expérimentées pour y parvenir et vous présentera les pièges à éviter mais surtout les solutions qui ont fonctionné dans notre cas.

On vous présentera :

– les possibilités pour déclencher un job (opérateurs Kubernetes, spark-submit, etc.)
– les ressources Kubernetes générées par Spark
– les paramètres utiles à l’exécution des Jobs
– la configuration de la connexion avec l’object storage
– une méthode pour suivre l’exécution de ses Jobs

Voici la vidéo :

Toutes les autres vidéos de la XebiCon sont disponibles sur le site de la XebiCon.

Publié par Sergio Dos Santos

Craft / DevOps / Back / Front / Cloud

Commentaire

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Nous recrutons

Être un Sapient, c'est faire partie d'un groupe de passionnés ; C'est l'opportunité de travailler et de partager avec des pairs parmi les plus talentueux.