RDV mercredi 17 juin à 17h pour le premier événement virtuel du groupe utilisateurs Dataiku Paris !
Jean Creusefond et @rmnvncnt (Data Scientists/Data Engineers à Delight) nous présenterons le système ETL qu'ils ont créé dans Dataiku DSS pour automatiser la mise à jour quotidienne de données provenant de dizaines de fournisseurs.
La présentation sera suivie d'une discussion pour partager retours d'expérience et de bonnes pratiques sur le processus ETL avec DSS.
Inscription ici !
Agenda:
17h - Introduction
17h05 - Présentation sur Système ETL Automatisé avec Dataiku DSS, par Jean & Romain
17h30 - Questions
17h40 - Discussion : retours d'expérience & bonnes pratiques sur processus ETL avec DSS
17h55 - Conclusion
Présentation : Système ETL automatisé avec Dataiku DSS
Jean et Romain, Data Scientists/Data Engineers à Delight, nous montrerons le projet qu'ils ont créé dansDSS pour automatiser la mise à jour quotidienne de données provenant de dizaines de fournisseurs, qu'ils traitent en tant que partitions indépendantes puis consolident dans un schéma unifié et stockent dans un data warehouse. Après 2 ans d'exercice, ils ont plus de 12 000 partitions.
Ils feront un retour d'expérience sur ce système, avec notamment :
- La création d'un flot partitionné entièrement automatisé;
- Le stacking de partitions incohérentes (quand 2 inputs ont des partitions différentes, et qu'on souhaite l'union des partitions en output);
- La mise en place d'un "master scenario", qui automatise les build les plus courants via l'exploitation des variables de projet.
