Résultats
Il y a 3 ans
Spark On K8S with S3? How we made it work!
Lors de la XebiCon’19, Sergio Dos Santos et Guillaume Albini, Consultants chez Publicis Sapient Engineering ont présenté la conférence « Spark On K8S with S3? How we made it work! ». Spark, couplé à des solutions de type Object Storage, offre désormais la possibilité d’exécuter des traitements sur un Kubernetes managé sans passer par une distribution lourde...
Il y a 5 ans
Deux Data Lovers au Spark+AI Summit Europe 2018
Apache Spark, initialement développé à l’université de Californie à Berkeley par AMPLab, est un framework de traitement de données distribuées pour effectuer des analyses complexes à grande échelle. Dans un écosystème riche, il a su se hisser parmi les produits les plus utilisés en Big Data. Il a permis de nombreuses avancées pour la recherche...
Il y a 5 ans
Spark Structured Streaming avec Kafka Schema Registry
L’idée de cet article est de brancher Spark Structured Streaming à Kafka pour consommer des messages en Avro dont le schéma est géré par le Schema Registry. L’objectif est de se dissocier de la déclaration manuelle du schéma de données côté consommateur. Ceci pourrait être utile pour découpler la production de la consommation comme proposé...
Il y a 6 ans
Spark : comprendre et corriger l’exception Task not serializable
Dans tous les langages, le debugging peut parfois s’avérer une tâche fastidieuse. C’est d’autant plus le cas lorsque l’on utilise un framework distribué avec beaucoup de concepts complexes sous-jacents, comme Spark. Cet article propose de revenir sur l’une des erreurs les plus souvent rencontrées lors du développement d’applications avec Spark, et qui n’est pas toujours...
Il y a 6 ans
Tester du code Spark – 2 – La pratique
Que de la théorie. Les tests du code Spark semblent abonnés à cette réalité : tout reste théorique. À croire qu’en réaliser est impossible. Il est grand temps de remédier à ce problème et démontrer que le sujet est abordable par tous. Quitter la théorie, c’est débuter par les bonnes pratiques. Des réflexes sur la spécification...
Il y a 6 ans
Tester du code Spark : 1- La théorie
Spark est plus puissant et plus simple à utiliser que MapReduce, mais comment tester du code Spark ? Voici notre vision ! Spark est un framework de calcul distribué créé à Berkeley en 2010. Il connait une adoption impressionnante. Plusieurs raisons à cela : des performances de très loin supérieures à MapReduce et un framework à...
Il y a 7 ans
Revue de Presse Xebia
La revue de presse hebdomadaire des technologies Big Data, Cloud et Web, architectures Java et mobilité dans des environnements agiles, proposée par Xebia. Mobilité Offrez à vos applications tvOS un outil de reporting digne de ce nom ! Craftsmanship Move fast and fix things Front CodeceptJS: un nouveau framework de test end-to-end Comprendre les propriétés...
Il y a 8 ans
Retour sur le « Paris Spark meetup », avec la présence de Sean Owen de Cloudera
Le 11 juin dernier, le Paris Spark Meetup a réuni plus de 280 personnes à la Société Générale. Avec l’aide de notre partenaire technologique , Cloudera, et Influans, nous avons mis notre expertise en commun sur Apache Spark. Afin de découvrir ces technologies et frameworks utilisés dans le traitement de la donnée, trois sessions étaient...
Il y a 8 ans
Xebia, le Paris Spark meetup et Cloudera, en la présence de Sean Owen, vous invitent à un meetup exceptionnel !
Apache Spark, Spark ML, recommendation, etc. vous intéressent ? Rendez-vous le 11 juin prochain à la Société Générale (corporate & investment banking) ! En partenariat avec la SGCIB, le Paris Spark Meetup et Cloudera (en la présence de Sean Owen, Directeur of Data Sciences), nous organisons l’événement data de ce début d’été. A ne pas manquer...
Il y a 8 ans
Tech-Event Initiation au Machine Learning avec Spark le 4 Juin
Savoir faire du Machine Learning, notamment dans un contexte Big Data, est une compétence de plus en plus recherchée de nos jours. Pourtant cette discipline est loin d’être la plus simple à acquérir. Xebia vous propose de vous initier progressivement au Machine Learning et au framework Spark. Nous utiliserons les outils les plus récents des...
Il y a 8 ans
Revue de Presse Xebia
La revue de presse hebdomadaire des technologies Big Data, Cloud et Web, architectures Java et mobilité dans des environnements agiles, proposée par Xebia. Agilité Project vs. Product (Par Emmanuel Sciara) Jira, Kanban & Physical Boards: An Agile Life at TweetDeck (Par Ludovic Perot) #NoEstimates Project Planning Using Monte Carlo Simulation (Par Arnaud Bracchetti) Front Sortie...
Il y a 9 ans
Revue de Presse Xebia
La revue de presse hebdomadaire des technologies Big Data, Cloud et Web, architectures Java et mobilité dans des environnements agiles, proposée par Xebia. Mobilité Jean-Pierre Simard : Uncovering SourceKit (Par Simone Civetta) Jon Reid : AppCode for Better TDD (Par Simone Civetta) Front Introduction à la programmation réactive (Par Yannick Grenzinger) Data Spark 1.0.1 :...
Il y a 9 ans
Revue de Presse Xebia
La revue de presse hebdomadaire des technologies Big Data, Cloud et Web, architectures Java et mobilité dans des environnements agiles, proposée par Xebia. Agilité Un retour à Scrum (Par Ludovic Perot) Mise en place d’un Kanban dans une équipe marketing (Par Yannick Quenec’hdu) Front Principes de visualisation de données (Par Yannick Grenzinger) Data Tout sur...