Système ETL automatisé avec Dataiku DSS - 17 juin à 17h

LisaB
Dataiker
Système ETL automatisé avec Dataiku DSS - 17 juin à 17h

RDV mercredi 17 juin à 17h pour le premier événement virtuel du groupe utilisateurs Dataiku Paris !

Jean Creusefond et @rmnvncnt (Data Scientists/Data Engineers à Delight) nous présenterons le système ETL qu'ils ont créé dans Dataiku DSS pour automatiser la mise à jour quotidienne de données provenant de dizaines de fournisseurs.

La présentation sera suivie d'une discussion pour partager retours d'expérience et de bonnes pratiques sur le processus ETL avec DSS. 

Inscription ici ! 

Agenda:

17h - Introduction
17h05 - Présentation sur Système ETL Automatisé avec Dataiku DSS, par Jean & Romain 
17h30  - Questions 
17h40 - Discussion : retours d'expérience & bonnes pratiques sur processus ETL avec DSS 
17h55 - Conclusion

Présentation : Système ETL automatisé avec Dataiku DSS

Jean et Romain, Data Scientists/Data Engineers à Delight, nous montrerons le projet qu'ils ont créé dansDSS pour automatiser la mise à jour quotidienne de données provenant de dizaines de fournisseurs, qu'ils traitent en tant que partitions indépendantes puis consolident dans un schéma unifié et stockent dans un data warehouse. Après 2 ans d'exercice, ils ont plus de 12 000 partitions.

Ils feront un retour d'expérience sur ce système, avec notamment :

  • La création d'un flot partitionné entièrement automatisé;
  • Le stacking de partitions incohérentes (quand 2 inputs ont des partitions différentes, et qu'on souhaite l'union des partitions en output);
  • La mise en place d'un "master scenario", qui automatise les build les plus courants via l'exploitation des variables de projet.
Lisa, Community Programs Manager at Dataiku

Don't forget to mark as "Accepted Solution" when someone provides the correct answer to your question 😉
0 Kudos
2 Replies
Sambit
Level 1

Please let me know if we have any video tutorials as of now for ETL in DSS

LisaB
Dataiker
Author

Hi Sambit,

This tutorial 'From Lab to Flow' provides a step-by-step of preparation scripts and processors in DSS, and here are further examples, including short videos, to use visual recipes for data prep.

But we're launching a brand new version of the Dataiku Academy next Wednesday with video-rich learning paths, incl. a deep dive into DSS visual recipes. You can signed up to the launch webinar on May 27th to learn more and  informed!

Hope this helps, 

Lisa, Community Programs Manager at Dataiku

Don't forget to mark as "Accepted Solution" when someone provides the correct answer to your question 😉
0 Kudos
Sign in to join this group?

Labels

?
Labels (3)