Data Lake, data warehouse : quelle solution de stockage choisir pour valoriser vos données ?

Les organisations sont confrontées à une croissance exponentielle des données qu’elles produisent. Elles font ainsi face à un défi de taille : choisir une solution de stockage adaptée pour leur organisation. Ce choix stratégique peut avoir un impact majeur sur la qualité et la sécurité des données, mais cela peut surtout limiter leur usage et le potentiel d’innovation qu’elles offrent. Découvrez dans cet article les différents types de solutions de stockage de données disponibles (Data Lake ou Data Warehouse), leurs inconvénients et avantages pour votre organisation.

Avec des données de plus en plus nombreuses et provenant de sources très diverses, les organisations ont besoin de solutions de stockage Big Data. C’est à cet instant qu’intervient le Data Lake.

Le Data Lake est un espace de stockage qui contient toutes les données d’une organisation sous une forme brute (comme des emails, des fichiers PDF, des tableaux, des images, des vidéos…). Il peut donc y avoir des données structurées, semi-structurées ou non structurées.

À travers cette solution, les données sont stockées sans but précis. Elles peuvent avoir une utilisation immédiate ou future en fonction des besoins de l’organisation.

L’architecture du Data Lake se veut sans contrainte que ce soit en termes de taille, de type de données ou de structure (stockage de données en cloud ou sur site).

À l’inverse du Data Warehouse, le lac de données ne repose pas sur une méthode ETL, mais ELT (extract, load, transform). C’est-à-dire que les organisations récupèrent les datas depuis différentes sources de données, elles les chargent dans le Data Lake sous leur format original. Et ce n’est seulement qu’après qu’elles transforment et traitent les données stockées en fonction des besoins de l’organisation. Mais pour cela, les experts data utilisent une multitude d’outils spécifiques pour l’ingestion des données, la répartition des ressources, l’indexation des contenus, la restitution, la data visualisation, la migration, l’analyse, etc.

La capacité de stockage du lac de données permet aux organisations d’avoir accès à tous types d’informations en temps réel. Les données étant facilement disponibles dans leur forme brute, les data scientists peuvent les extraire facilement pour des usages spécifiques. D’ailleurs, les données non traitées peuvent être utilisées en machine learning, puisque les algorithmes ont besoin d’un maximum de données disponibles pour apprendre plus efficacement.

Dans tous les cas, cette solution de stockage des données nécessite une expertise data très avancée.

Enfin, du fait de sa simplicité de gestion, cette solution de stockage de données présente des coûts plus réduits. C’est particulièrement vrai pour le cloud Data Lake qui est généralement moins onéreux qu’un lac de données sur site.

Le Data Warehouse (ou entrepôt de données) est un lieu de stockage des données. Apparue dans les années 1990, c’est l’une des premières solutions permettant de centraliser les données opérationnelles. À ce titre, le Data Warehouse ne stocke que les données structurées. C’est-à-dire des informations qui ont été préalablement filtrées, nettoyées et traitées dans un but spécifique ; bien souvent pour l’analyse commerciale, marketing, et plus globalement pour la business Intelligence.

À travers cette solution de stockage de données, les entreprises entendent trouver des réponses à des besoins prédéfinis.

Pour sélectionner uniquement des données structurées, l’architecture du Data Warehouse est définie bien avant le stockage. Créer un Data Warehouse nécessite donc du temps, une expertise data avancée, et surtout un coût non négligeable.

Et cela continue a posteriori pour la gestion des données. En effet, l’alimentation du Data Warehouse en données implique d’appliquer les principes de l’ETL (Extract, Transform, Load) qui a pour objectif d’extraire les données de leurs sources originales, de les nettoyer et de les importer. Là encore, cette démarche ETL est chronophage.

Pour faciliter la gestion des données, il est aussi possible de regrouper les informations à travers des data marts. Autrement dit, des sous-ensembles de données spécialisées dans une thématique ou un métier.

C’est seulement à la fin du processus que les informations stockées peuvent être utilisées et analysées par les data analysts ou data scientists.

Contrairement au Data Lake, le Data Warehouse permet de :

• Prioriser les données : les entrepôts de données ne conservent que les informations présentant une utilité opérationnelle pour l’organisation.
• Garantir la cohérence et la qualité des données : comme les données sont traitées et nettoyées, les utilisateurs peuvent utiliser les informations disponibles en toute confiance.
• Réduire l’espace de stockage : en limitant le nombre de données stockées, les Data Warehouses ne gaspillent pas d’espace pour des informations inutiles ou obsolètes.

Cependant, cette solution de stockage de données présente également une limite majeure : la complexité de sa mise en place et de l’intégration de nouvelles données.

En effet, si l’objectif final est d’aider les équipes à identifier les indicateurs clés de performance et à prendre de meilleures décisions, elles ne peuvent exploiter les données sans l’intervention d’un expert. Avec un Data Warehouse, la donnée n’est pas vraiment démocratisée dans toute l’organisation, puisque tous les collaborateurs ne peuvent pas y accéder, ni la manipuler simplement.

D’autant plus que toutes les entreprises ne disposent pas de compétences en interne pour concevoir l’architecture du Data Warehouse, ni pour l’alimenter régulièrement en intégrant uniquement des données filtrées, nettoyées et traitées. Entre la construction, la transformation des données, l’analyse, la maintenance et la formation des équipes, le coût d’un Data Warehouse peut s’élever à plusieurs centaines de milliers d’euros pour les organisations. Le ratio coût/performance doit donc être pris en considération au moment d’opter pour cette solution de stockage de données.

Au-delà du coût, le Data Warehouse présente de sérieuses limites en termes d’usage. Même s’il permet de transformer les données, les modèles qu’il propose sont encore très complexes et ne peuvent être accessibles que par des spécialistes. Or les bénéfices des données résident dans les usages …

Si le Data Lake et le Data Warehouse se présentent comme les principales solutions de stockage de données, ils rencontrent toutefois certaines limites :

• Le volume de données : les utilisateurs d’un Data Lake se retrouvent avec d’énormes quantités de données brutes difficiles à exploiter en l’absence de gouvernance de données claire. Bien souvent, l’architecture du Data Lake donne lieu à un grand capharnaüm où il est difficile de trouver les bonnes données.
• Le coût : les Data Lake et les Data Warehouses nécessitent des investissements importants de la part des organisations.
• Les utilisateurs : les entrepôts ou les lacs de données sont principalement utilisés par des data analysts, data scientists ou autres experts. Ces derniers disposent d’une connaissance poussée du système d’information de l’organisation, et surtout, ils maîtrisent les outils d’analyse de données spécifiques. Cela leur permet ainsi de retrouver les données utiles, de les exploiter et de les analyser. Ce qui n’est pas possible pour les autres membres de l’organisation, “non initiés”.
• Les usages : comme il faut être expert pour les manier, les usages de ces solutions sont nettement limités. Et pour cause, les données sont difficilement compréhensibles par l’ensemble des collaborateurs, faute de formats digitaux adaptés à leurs besoins. Ils devraient pouvoir consommer tous types de données sous forme de visualisation pour en tirer des enseignements pertinents et ainsi, prendre de bonnes décisions et créer de nouveaux usages innovants.

Qu’il s’agisse du Data Warehouse ou du Data Lake, ces deux solutions de stockage de données présentent des limites en termes de flexibilité, d’usage ou d’accessibilité. Or, c’est l’usage des données qui permet d’apporter un maximum de valeur à l’organisation, que ce soit en termes d’avantage concurrentiel, de réduction des coûts, de création de nouveaux services, etc. Sans usage, les données n’ont que peu de valeur et sont difficilement rentables. Opendatasoft, vous pouvez rendre vos données plus accessibles et réutilisables.

Notre dernière étude réalisée avec Odoxa révèle que seuls 31 % des décideurs indiquent disposer de ressources nécessaires en termes de personnel, d’outils mais aussi de stratégie de gouvernance pour rendre les données accessibles et encourager leur utilisation.

Comment expliquer que malgré le déploiement de nombreuses solutions telles que des Data Lake ou des Data Warehouse, les données ne soient pas suffisamment valorisées ? Quelle est la “brique” manquante pour permettre de libérer le potentiel de vos données et de rentabiliser les investissements déjà effectués ?

Avec une architecture de données basée uniquement sur un Data Lake ou un Data Warehouse, les différents métiers sont dépendants de spécialistes de la data pour pouvoir accéder aux informations dont ils ont besoin, les croiser avec d’autres données ou créer des data visualisations et dashboard. À l’inverse, certaines organisations décident même de ne pas investir par manque de ressources ou de profils spécialisés pour exploiter les données.

Or, la connaissance que représente la donnée doit être à la portée de tous en interne pour les collaborateurs mais aussi à disposition des parties prenantes externes pour transformer la culture d’entreprise et les modes de décision et créer de la valeur.

Alors comment réellement démocratiser ses données pour servir le bien commun et répondre aux défis contemporains ?

Pour démocratiser les données dans vos écosystèmes, plusieurs critères doivent être réunis :

• Les données doivent être accessibles par toutes les parties prenantes (en fonction de leurs permissions respectives) via un point d’accès unique. Des fonctionnalités de recherche et de filtrage sont indispensables à votre portail pour permettre de retrouver les données en quelques clics.
• Les données doivent être présentées dans des formats adaptés aux niveaux d’expertise data des différents métiers : data visualisations, dashboards, graphiques, format brut, etc.
• Les données doivent être documentées pour pouvoir être comprises par tous et réutilisées en toute confiance, notamment grâce aux métadonnées (DCAT, DCAT-AP, INSPIRE).
• Les données doivent être interopérables avec les outils métiers des collaborateurs de l’organisation
• Les données doivent pouvoir être enrichies et formatées sans compétences avancées, grâce à des processeurs permettant de réaliser une action prédéfinie. Par exemple corriger le texte et la mise en forme, ajouter des données de référence géographique, normaliser une date ou anonymiser les données.
• Les données doivent pouvoir être réutilisées grâce à des options d’export (Excel, CSV, APIs et sous forme de données SIG, telles que GPX pour la cartographie des smartphones). Les formats doivent être compatibles avec les normes nationales et internationales, permettant une intégration facile avec les portails nationaux.

Apprenez-en plus sur les bénéfices d’une plateforme d’expérience data et sur les fonctionnalités favorites de nos clients.

Une plateforme d’expérience data comme Opendatasoft, permet de créer des usages concrets à partir de vos données, par exemple :

• Créer un portail de données en libre service au sein de votre organisation pour permettre à tous vos collaborateurs d’accéder facilement à une information fondée sur des faits et de s’en resservir dans ses activités quotidiennes
• Créer des services data pour booster votre efficacité, votre attractivité et votre compétitivité
• Publier des portails open data pour communiquer en toute transparence avec le plus grand nombre.

Sans une plateforme de démocratisation de la donnée, ces usages prendraient plusieurs mois, voire années à être réalisés.

Nos clients reconnaissent à l’unanimité le gain de temps qu’ils obtiennent grâce à notre plateforme qui leur permet de monter très rapidement en autonomie :

• Schneider Electric connecte à notre plateforme ses solutions cloud et Data Lakehouse, dont Microsoft Azure et Databricks, pour alimenter rapidement sa marketplace data créée avec Opendatasoft en données.
• ICF Habitat, filiale du groupe SNCF, réalise des cas d’usage interne autour de la donnée en quelques mois alors que cela se comptait en années lorsque les équipes devaient passer par les équipes IT.
• Le directeur financier de Lamie Mutuelle estime avoir gagné environ 3 jours par mois sur ses tâches grâce à l’adoption d’Opendatasoft au sein de l’entreprise. Cela lui permet également de renforcer l’efficacité et la fiabilité de ses opérations grâce à des données toujours à jour et normalisées.

Pour résumer, les solutions de stockage telles que des Data Lake et Data Warehouse ne peuvent suffire à créer de la valeur et des usages innovants au sein d’une organisation. La raison est simple : il faut mettre la donnée au plus proche des métiers et des différentes parties prenantes de l’écosystème.