Un SI temps réel, centré sur les événements

Traiter de la donnée en temps réel est simple, se servir de gros volumes de données est simple. Mais quand il s’agit de traiter de gros volumes de données en temps réel, la complexité explose.

L’arrivée du système de messaging Kafka a changé la donne. En simplifiant ce besoin, il a fait émerger de nouvelles possibilités. On parle aujourd’hui d’applications streaming et d’applications réactives. De l’alerting en temps réel au Machine Learning appliqué en temps réel, nous sommes maintenant capables de réaliser des applications de streaming complètes.

Ces applications ont également fait naître un panel d’outils à maîtriser : de l’ingestion de données en temps réel avec NiFi, Gobblin ou encore Kafka Connect, du Change Data Capture avec Debezium, du processing distribué avec Spark Streaming, Kafka Streams et bien d’autres. Autant de nouvelles technologies qui permettent de réagir toujours plus vite aux événements de votre SI.

Toutes ces avancées techniques nous amènent à repenser l’information comme une suite d’événements. L’idée de Streaming Data Platform arrive au coeur de plus en plus de systèmes d’information. L’objectif ? Simplifier le traitement de ces événements et en faire la première source d’information fiable.

Keywords

• Kafka
• Streaming
• Realtime
• Kinesis
• Change Data Capture
• Lambda Architectures

Notre partage sur le sujet

Articles de blog

• Data : Spark Structured Streaming avec Kafka Schema Registry
• Apache Kafka – Une plateforme centralisée des échanges de données

Vidéos

• Mois du Cloud – Scale-in & Scale-out with Kafka Stream & GKE
• XebiCon’18 – Passage à l’échelle de mes applications Kafka Streams
• XebiCon’18 – Event Sourcing et RGPD, incompatibles ?
• XebiCon’18 – Apache Kafka – bonnes pratiques et erreurs courantes
• Témoignage Early Birds