Le tag "dataflow"

Faire un export JSON valid depuis BigQuery grâce à Apache Beam et Dataflow

BigQuery est le data warehouse serverless de Google Cloud Platform qui permet d’analyser de très larges volumes de données en un minimum de temps. Ses hautes performances limitent néanmoins ses options d’export de données, ce qui peut être problématique si le système consommateur des données d’export a besoin d’un formatage bien précis. J’ai été confronté...

La Data dans l’ère post-Hadoop

Soyons francs, l’écosystème Hadoop a vécu, et le traitement de la Data s’ouvre aujourd’hui plus que jamais sur le Cloud que ce soit avec Kubernetes ou bien avec des services managés. Le déploiement, comme le run de clusters Hadoop ne doit plus être un sujet et de nouvelles voies doivent s’ouvrir. Le Cloud apporte de...