Spark On K8S with S3? How we made it work!

Lors de la XebiCon’19, Sergio Dos Santos et Guillaume Albini, Consultants chez Publicis Sapient Engineering ont présenté la conférence « Spark On K8S with S3? How we made it work! ».

Spark, couplé à des solutions de type Object Storage, offre désormais la possibilité d’exécuter des traitements sur un Kubernetes managé sans passer par une distribution lourde à mettre en oeuvre.

Ce talk vous présentera les méthodes que l’on a expérimentées pour y parvenir et vous présentera les pièges à éviter mais surtout les solutions qui ont fonctionné dans notre cas.

On vous présentera :

– les possibilités pour déclencher un job (opérateurs Kubernetes, spark-submit, etc.)
– les ressources Kubernetes générées par Spark
– les paramètres utiles à l’exécution des Jobs
– la configuration de la connexion avec l’object storage
– une méthode pour suivre l’exécution de ses Jobs

Voici la vidéo :

Toutes les autres vidéos de la XebiCon sont disponibles sur le site de la XebiCon.