Pour le premier événement virtuel du groupe utilisateurs Dataiku Paris, Jean Creusefond et Romain Vincent (Data Scientists/Data Engineers à Delight) présenterons le système ETL qu'ils ont créé dans Dataiku DSS pour automatiser la mise à jour quotidienne de données provenant de dizaines de fournisseurs.

La présentation sera suivie d'une discussion avec Jakub Czarny (Analytics Team Lead à Dataiku), qui partagera son expérience et ses bonnes pratiques sur l'utilisation de DSS en interne pour le processus ETL.  

Rejoignez le groupe en ligne sur la Communauté Dataiku pour être informé(e) des prochains événements et échanger avec les utilisateurs francophones !

Présentation : Système ETL automatisé avec Dataiku DSS

Jean et Romain, Data Scientists/Data Engineers à Delight, nous montrerons le projet qu'ils ont créé dans DSS pour automatiser la mise à jour quotidienne de données provenant de dizaines de fournisseurs, qu'ils traitent en tant que partitions indépendantes puis consolident dans un schéma unifié et stockent dans un data warehouse. Après 2 ans d'exercice, ils ont plus de 12 000 partitions.

Ils feront un retour d'expérience sur ce système, avec notamment :

• La création d'un flot partitionné entièrement automatisé;
• Le stacking de partitions incohérentes (quand 2 inputs ont des partitions différentes, et qu'on souhaite l'union des partitions en output);
• La mise en place d'un "master scenario", qui automatise les build les plus courants via l'exploitation des variables de projet.

Jean Creusefond et Romain Vincent sont Data Scientists/Data Engineers, qui ont tous deux fait une thèse avant d'arriver chez Delight.