Glossaire
Extract, Transform, Load (ETL)
Extract, Transform, Load (ETL) - extraction, transformation, chargement en français - constituent le processus d'intégration des données utilisé pour combiner des données provenant de sources multiples dans un référentiel unique et centralisé.
Que signifie ETL ?
Extract, Transform, Load (ETL) – extraction, transformation, chargement en français – représentent le processus d’intégration de données en trois étapes utilisé pour combiner des données structurées et non structurées provenant de sources multiples dans un référentiel unique et centralisé, tel qu’un data warehouse, un data mart ou un data lake. Les trois étapes sont les suivantes :
- Extract (extraction) : les données brutes sont consultées et déplacées de leur système source vers une zone de transit
- Transform (transformation) : dans la zone de transit, des règles commerciales sont appliquées pour nettoyer, transformer et organiser les données afin d’en assurer la qualité et la cohérence.
- Load (chargement) : les données sont ensuite ajoutées au référentiel.
Réalisé à l’aide d’outils logiciels, le processus ETL peut être automatisé et se dérouler sur une base régulière, par le biais de mises à jour par lots ou en temps réel lorsque les données d’un système source changent. Ces pipelines ETL (ou pipelines de données) rassemblent des outils et des activités permettant d’automatiser l’intégration des données, augmentant ainsi l’efficacité et permettant de les reproduire, de les contrôler et de les améliorer.
ETL vs ELT
L’ETL est utilisé depuis les années 1970. Plus récemment, le processus ELT (extraction, chargement et transformation) a vu le jour. Comme son nom l’indique, il s’agit d’inverser l’ordre des deuxième et troisième étapes, en chargeant les données dans le référentiel cible, où elles sont ensuite transformées. Il n’est donc plus nécessaire de disposer d’une zone de transit et la flexibilité de l’analyse des données s’en trouve accrue. Cela signifie que ce système fonctionne correctement pour les gros volumes de données non structurées, telles que celles stockées dans les data lake.
Pour mener à bien l’étape de transformation, il faut que les bases de données centralisées disposent à la fois de capacités de mise en correspondance des données ainsi que des capacités de traitement conséquentes pour assurer rapidement et de manière efficace cette étape. C’est pour cette raison qu’il est préférable de le déployer dans le Cloud, qui fournit une puissance de calcul évolutive et adaptée à vos besoins.
Pourquoi l’ETL est-il important ?
Les données structurées et non structurées sont désormais produites par de multiples systèmes à l’intérieur et à l’extérieur de l’organisation, dans un grand nombre de formats différents. Pour créer de la valeur, ces données doivent être largement disponibles, notamment pour servir la business intelligence et permettre une meilleure prise de décision fondée sur les données. Elles doivent donc être centralisées et normalisées pour garantir l’accessibilité, la qualité et la gouvernance. Les processus ETL permet d’atteindre cet objectif, en les plaçant au cœur du processus :
- Analyse des données et établissement de rapports efficaces et éclairés grâce à une vue consolidée de l’information
- Garantie de la qualité et de la gouvernance des données en appliquant des normes cohérentes
- Une version unique des données pour tous les membres d’un écosystème
- Un contexte historique pour la business intelligence
- Augmentation de l’efficacité en remplaçant les processus manuels
Quelles sont les étapes du processus ETL ?
Extract (extraction)
Lors de la phase d’extraction des données, les données brutes sont copiées ou exportées des sites sources vers une zone de transit. Les données peuvent être structurées ou non structurées et provenir de sources telles que des bases de données relationnelles, des plateformes de stockage de données, des systèmes de stockage en Cloud ou des applications d’entreprise (telles que les systèmes CRM ou ERP).
Transform (transformation)
Il s’agit de la partie la plus importante du processus ETL, car elle garantit la vérification des données brutes extraites et leur transformation dans la zone de transit afin de respecter les directives de l’entreprise en matière de normes, de qualité et d’accessibilité.
La transformation des données comprend normalement :
- Nettoyage – suppression/résolution des incohérences et des valeurs manquantes
- Normalisation – application de règles de gouvernance standard à l’ensemble de données
- Déduplication – élimination des données redondantes ou dupliquées
- Vérification – suppression des données inutilisables et signalisation des anomalies
- Cryptage/protection des données – par exemple en rendant anonymes les données sensibles
- Tri – organisation des données par type
- Amélioration – enrichir les datasets avec des données supplémentaires (telles que des données de référence) afin d’en augmenter la valeur
Load (chargement)
Une fois les données transformées, elles sont chargées dans un référentiel centralisé, comme un data lake ou un data warehouse. Toutes les données peuvent être chargées en une seule fois (chargement complet) ou à intervalles programmés ou lorsqu’un enregistrement est modifié (chargement incrémentiel). En général, cette dernière étape a lieu en dehors des heures de pointe, lorsque l’activité sur les systèmes sources et le data warehouse est la plus faible.
En savoir plus
![3 fonctionnalités collaboratives clés pour engager ses consommateurs de données sur son portail data](https://www.opendatasoft.com/wp-content/uploads/2024/09/Blog-thumbnail-2.png)
3 fonctionnalités collaboratives clés pour engager ses consommateurs de données sur son portail data
Comment sortir du cercle vicieux dans lequel les données restent entre les mains des équipes data alors qu'elles devraient être l’affaire de tous les métiers ? Comment inciter vos consommateurs à les utiliser efficacement ? Cet article explique quelles fonctionnalités clés doivent impérativement être activées sur son portail data pour engager les consommateurs de données et maximiser l’utilisation des données au quotidien.
![Qu’est-ce qu’un catalogue de données ?](https://www.opendatasoft.com/wp-content/uploads/2024/08/Blog-thumbnail-1.png)
Qu’est-ce qu’un catalogue de données ?
Les organisations produisent aujourd'hui une grande quantité d'actifs de données à travers leurs opérations et services. Exploiter ces données de manière efficace implique de savoir quelles sont les données disponibles et où elles se situent. Pour cela, les entreprises utilisent des catalogues de données centralisés. Cet article explique en quoi consistent ces catalogues et quels sont leurs bénéfices pour les entreprises.
![Pourquoi votre portail de données est une véritable de source de ROI ?](https://www.opendatasoft.com/wp-content/uploads/2024/06/Data-portal-ROI.jpg)
Pourquoi votre portail de données est une véritable de source de ROI ?
Pour bien valoriser vos données, vous devez les rendre accessibles. Découvrez dans cet article comment maximiser votre ROI et choisir le meilleur fournisseur de solution technologique. Les organisations des secteurs public et privé adoptent de plus en plus les portails de données pour centraliser et faciliter l’accès à ces informations pour l’ensemble de leurs utilisateurs, qu’il s’agisse d’employés, de citoyens, de partenaires ou d’autres parties prenantes.