Pourquoi Fivetran et DBT fonctionnent bien ensembles ?
Dans les précédents articles, je vous ai expliqué pourquoi j’utilisais beaucoup Fivetran et DBT dans mes projets. Ces deux outils sont très utiles pour leur propre objectif : extraire les données pour Fivetran et les transformer pour DBT.
Mais j’ai choisi de travailler avec ces outils car il existe de nombreuses raisons pour lesquelles ces deux outils fonctionnent très bien ensemble.
Une intégration de DBT dans Fivetran
Depuis quelques mois, Fivetran a réalisé que DBT était de plus en plus populaire et a commencé à proposer différents outils pour bien utiliser les deux solutions ensemble.
Dans Fivetran, nous configurons des connecteurs qui vont récupérer des données de sources extérieures en définissant la fréquence d’exécution de ces extractions. Il est maintenant possible d’exécuter des transformations DBT après la synchronisation des données dont les transformations dépendent.
Par exemple, j’ai un client qui récupère des données depuis Adwords, Bing Ads et Facebook Ads pour pouvoir construire des rapports sur la performance des publicités. Les données de ces trois sources sont extraites depuis 3 connecteurs configurés dans Fivetran. J’ai construit différents modèles dans DBT (des transformations) pour prendre ces données remontées par Fivetran pour calculer et stocker les métriques qui nous intéressent. Comme je veux que mes données soient les plus à jour possible dans mes rapports, je veux que ces transformations s’exécutent dès que les données sont récupérées par Fivetran. Cela est maintenant possible très facilement.
Cela permet également de pouvoir surveiller facilement l’exécution des différentes transformations. Enfin, cela permet de se passer d’un serveur qui héberge le projet DBT car tout est géré directement dans Fivetran.
Des modèles de données préconçus
Fivetran est allé encore plus loin en proposant maintenant des modèles préconçus pour les connecteurs les plus populaires qu’on retrouve dans l’outil. J’ai par exemple un client qui utilise Hubspot comme CRM et Fivetran remonte énormément de tables pour cet outil. Il y a donc différentes transformations à écrire pour trier toutes ces tables afin qu’elles soient plus simples à utiliser.
J’ai écrit ce type de modèle pour différents connecteurs que je peux réutiliser dans mes différents projets. Mais Fivetran propose maintenant ce type de modèle.
Cela permet de faciliter encore plus l’utilisation des données remontées par Fivetran mais cela permet surtout d’accélérer la création d’un pipeline de données sans mettre en péril la fiabilité de celui-ci.
Deux outils adaptés à vos besoins ?
Avec ces différents petits outils qui facilitent la vie des utilisateurs de DBT, Fivetran a très bien compris les besoins des Data Engineers qui utilisent leur outil. C’est pourquoi aujourd’hui j’aime conseiller Fivetran à mes clients qui ont besoin d’extraire les données de leurs différents outils cloud.
Malgré ses nombreuses qualités, Fivetran n’est pas adapté aux besoins de tous mes clients. Si vous vous demandez si il est fait pour vous, n’hésitez pas à me contacter pour qu’on puisse échanger sur votre projet Data.