Découvrir le cloud avec AWS en développant un data pipeline – Partie 5

Nous arrivons à la dernière partie de ce tutoriel. Nous avons commencé par définir ce qu’est le cloud computing et ce qu’il peut apporter d’intéressant à nos projets. Nous avons ensuite découvert plusieurs services comme Amazon S3, AWS IAM ou AWS Glue autour de la mise en place d’un data pipeline. Ces services sont généralement...

Découvrir le cloud avec AWS en développant un data pipeline – Partie 4

Dans la précédente partie de ce tutoriel, nous avons développé ce qui constitue le cœur de notre data pipeline, le job de transformation et d’ingestion de données. Nous avons également découvert une fonctionnalité intéressante d’AWS Glue qui nous permet d’analyser nos fichiers de données afin d’en générer des tables, exposées via un catalogue de données....

Découvrir le cloud avec AWS en développant un data pipeline – Partie 3

Dans la précédente partie de ce tutoriel, nous avons construit la première étape de notre data pipeline : son déclenchement à l’arrivée des fichiers de données, ainsi qu’un prétraitement des données. Cette étape a été l’occasion pour nous de découvrir AWS Lambda qui nous permet d’exécuter notre code sans se soucier de l’infrastructure à déployer...

Faire un export JSON valid depuis BigQuery grâce à Apache Beam et Dataflow

BigQuery est le data warehouse serverless de Google Cloud Platform qui permet d’analyser de très larges volumes de données en un minimum de temps. Ses hautes performances limitent néanmoins ses options d’export de données, ce qui peut être problématique si le système consommateur des données d’export a besoin d’un formatage bien précis. J’ai été confronté...

Découvrir le cloud avec AWS en développant un data pipeline – Partie 2

Dans la première partie de ce tutoriel, nous avons présenté brièvement les principes d’un service de cloud computing comme AWS et certains de ses avantages puis avons fait nos premiers pas dans la console. Nous avons ensuite découvert l’un des services les plus emblématiques d’AWS, Amazon S3, service de stockage orienté objet, à travers la...

Le DataXDay revient le 24 juin prochain !

100% HYBRIDE, 100% POUR ET PAR LES DATA LOVERS Save the date : 24 juin 2021 Il sera possible d’y assister soit sur place à Paris, soit directement de chez vous via une plateforme dédiée ! L’événement s’adapte ainsi à vos envies et permet de vous offrir une expérience optimale, dans le respect des règles...

Découvrir le cloud avec AWS en développant un data pipeline – Partie 1

Vous souhaitez découvrir le cloud mais ne savez pas par où commencer : les concepts et façons de travailler diffèrent de ceux dont vous avez l’habitude; les sites d’AWS (Amazon Web Services), GCP (Google Cloud Platform) ou encore Microsoft Azure présentent une longue liste de produits aux noms pas toujours parlants; vous craignez que votre...

Le Paris Container Day revient le 3 juin prochain !

Le Paris Container Day est de retour pour une nouvelle édition le jeudi 3 juin 2021 ! PRENEZ DÈS MAINTENANT VOTRE BILLET !  Le thème de cette année, revenir à la base : les conteneurs ! Cette édition s’articulera autour de 2 thèmes : un dédié au Build d’images de conteneurs, et l’autre à la partie...

NLP : concepts clés et état de l’art

L’objectif de cet article est de s’arrêter sur quelques notions clés intervenant dans le domaine du NLP (Natural Language Processing) et de montrer la façon dont celles-ci s’agencent pour amener à l’état de l’art actuel, en particulier dans le cadre des approches deep learning. L’ambition ici n’est pas de rentrer dans le détail des équations...

Détection de Fraudes par Autoencodeur Variationnel entraîné sur Google AI Platform

Détection de fraudes La détection de fraudes est un sujet courant dans plusieurs domaines : financier – banques, assurances, social ou judiciaire… Une fraude est un acte malhonnête fait dans l’intention de tromper en contrevenant à la loi ou aux règlements [1]. A titre d’illustration, l’article ne considère que la fraude à la carte bancaire....

Attaquer des modèles de machine learning : les autres menaces et les contre-mesures – PARTIE 3

Dans les articles précédents nous avons présenté la problématique de la vulnérabilité des modèles de machine learning et nous avons présenté la confidentialité différentielle et le membership inference attack. Comme ce type d’attaque n’est pas le seul, nous allons en détailler une autre : le secret revealer[1]. Elle procède par inversion du modèle cible (de...

Real-Time Data Processing : Google Cloud Functions & Firebase

Aujourd’hui, la transformation numérique est plus présente, voire même indispensable afin de pouvoir se créer une place dans le futur qui nous attend. Nous y faisons déjà face et la nécessité de passer à des architectures Event-Driven est grandissante. Certains outils de cloud providers tel que GCP, AWS ou Azure peuvent alors nous aider, afin...

Attaquer des modèles de machine learning : la confidentialité différentielle – PARTIE 2

Dans l’article précédent, nous avons montré ce que signifie attaquer un modèle, les différents types d’attaques et les concepts nécessaires. L’objectif de cet article est de se concentrer sur la confidentialité différentielle : une technique pour se protéger contre les membership inference attacks, au moins en théorie. Pour rappel, les membership inference attacks sont des attaques ayant...

Découvrir la programmation fonctionnelle #5 | Typeclass

Introduction En tant que développeur, nous utilisons souvent pas mal de librairies externes qui prévoient un large panel de cas d’usages. Malheureusement, aussi large soit le panel de cas d’usage prévu, nous nous retrouvons souvent avec des cas spécifiques propres à nos applications. Afin de pallier ce problème, l’alternative est de développer des classes “chapeaux”...

Long Short-Term Memory (LSTM) Networks for Time Series Forecasting

Introduction Forecasting appears to be the most applied quantitative technique to time series. For example, one of the principal tasks of central banks nowadays is to accurately predict inflation rate. Necessary measures are thereafter taken to keep the latter within acceptable levels, allowing a smooth run of the economy. Most commonly, prediction of a given...

Packaging Python : déploiement et hébergement

Nous avons vu dans un premier article consacré à setup.py et setuptools comment générer des archives distribuables de notre bibliothèque, nous allons voir maintenant comment les publier sur https://pypi.org/, le dépôt central des bibliothèques Python. La procédure pourra s’appliquer sur n’importe quel hébergement de paquets Python, y compris privé, j’y reviendrai par la suite. Twine Finalisation...

Big Data Paris, on y sera !

Retrouvez-nous stand B14 ! Lundi 14 et mardi 15 septembre prochain, Publicis Sapient sera présent à Big Data Paris : stand B14, pavillon 7.3 de la Porte de Versailles. Durant deux jours, nos commerciaux Nelson, Cedric, Yoann, Mickael, Melissa, Cindy et Thanh accueilleront les visiteurs sur notre stand. Le deep reinforcement learning : pour quoi faire...

Étude de la stabilité à la prédiction et au réentraînement de DeepAR

L’algorithme DeepAR a été développé par Amazon pour pouvoir entraîner un unique modèle de Deep Learning sur tout un ensemble de séries temporelles (les historiques de volumes de ventes pour chaque produit dans le problème initial d’Amazon). Il a été mis en open source en juin 2019 par Amazon au sein du package d’analyse de...