Open data cartographié : La carte des fromages français
Cette semaine, Opendatasoft met les petits plats dans les grands. Après s’être penché sur le Conseil de Paris, les données ouvertes de la SNCF, l’état de l’Open Data en 2014 et l’Égalité Homme-Femme, Opendatasoft poursuit sa série L’open data de la semaine avec de l'open data cartographié. Au menu : une carte des fromages français, interactive et en données ouvertes. À table !
Cartographie des Fromages Français en Open Data
338 fromages géolocalisés pour planifier votre prochaine sortie gastronomique
Extraire les Données : Scrapper Wikipedia avec Python
À peine l’idée de cet Open Data cartographié des fromages français naissait que la phrase du Général de Gaulle nous revenait en mémoire :
« Comment voulez-vous gouverner un pays où il existe 258 variétés de fromage ? »
Avouons-le, la perspective de devoir créer un tel jeu de données à la main n’a pas immédiatement séduit l’équipe.
Pour complexifier la tâche, nous avions trois impératifs :
- avoir une liste de fromage la plus exhaustive possible
- chaque fromage devait être associé à son département de production pour en faciliter la géolocalisation
- réunir un maximum de photographies de fromages
Nous avons tout d’abord cherché une liste exhaustive. Après plusieurs essais infructueux, nous avons trouvé la Liste des spécialités fromagères françaises. Les fromages y sont répartis par département. Cette hiérarchie a facilité le parsing et le scrapping de la page.
C’est Clément, membre de l’équipe R&D, qui a préparé la première mouture du jeu de données. Il a utilisé la librairie Python Beautiful Soup pour parser et scrapper la page Wikipédia. En utilisant les balises HTML et CSS de la page, il a pu exporter un CSV contenant :
- le nom du fromage associé à son département de production
- l’image du fromage quand elle était disponible sur Wikipédia
- le type de lait entrant dans sa production
- l’URL des pages Wikipédia, en français et en anglais (quand ces dernières existaient)
Cette première version du jeu de données a été importée dans un logiciel de tableur pour un nettoyage léger. Quelques fromageries s’étaient glissées parmi les fromages et les types de lait n’étaient pas harmonisés. Ainsi :
- « Lait cru de vache » est devenu « vache »
- « Vache Montbéliarde » est devenu « vache »
Importer les données sur une plate-forme de data clé-en-main
Après avoir harmonisé les données, nous avons chargé la liste des fromages français sur notre portail de démo.
Pour géolocaliser simplement ces données, nous avons utilisé l’un de nos processeurs natifs : joindre un jeu de données.
Ce processeur nous a permis de transformer le nom des départements de notre jeu de données en coordonnées géographiques grâce aux informations contenues dans un second jeu de données. Les nouvelles informations ont été ajoutées automatiquement.
La plate-forme a également converti les URLs des photographies de fromages en une galerie d’images dynamique. Cette dernière est intégrable et partageable en quelques clics.
La galerie des 338 spécialités fromagères françaises.
Créer une carte interactive rapidement
Pour générer notre carte, nous avons utilisé notre outil Cartographe.
Cartographe permet aux utilisateurs d’OpenDataSoft de placer des couches de données, extraites de jeu de données multiples, sur une carte.
La carte des fromages sur le fond de carte standard.
Nous aurions pu nous arrêter là. Mais nous voulions rendre cette carte des fromages vraiment attrayante. Nous avons donc dessiné un fond de carte customisé. Une tablette graphique, Illustrator, quelques couleurs vives et le tour était joué.
Jouer avec Illustrator et des GIFs.
Pour pouvoir utiliser ce fond de carte sur la plate-forme, nous avons dû utiliser MapTiler. Ce logiciel convertit des illustrations cartographiques en tuiles de cartes pour le web. Il nous a suffi d’indiquer à MapTiler les correspondances entre notre dessin et leur carte standard : pointe de la Corse, Brest, côte est de l’Angleterre…
Notre seule contrainte technique : l’illustration ne devait pas dépasser 10 000 pixels par 10 000 pixels (ce qui aura son importance un peu plus tard). Nous nous sommes donc limités à la représentation de l’Europe.
Nous avons exporté notre carte dans un format de cartographie standard : MbTiles. Cela nous a permis d’intégrer notre illustration à notre plate-forme via MapBox.
Et c’est là qu’un problème est survenu. Un problème qu’en bons français métropolitains nous n’avions pas prévu.
La Réunion : 6ème département producteur de fromage en France
La Réunion est le sixième département producteur de fromage. Et la Réunion se situe au large de Madagascar.
Comme nous le précisions précédemment, le fond de carte customisé ne pouvait pas dépasser les limites de l’Europe. Nous étions contraints techniquement par les fameux 10 000 pixels par 10 000 pixels.
Comment résoudre ce problème ?
Nous avons donc réalisé une pirouette en trois étapes :
- Conserver les données relatives aux fromages réunionnais dans le jeu de données.
- Filtrer l’affichage des fromages réunionnais sur notre carte spéciale.
- Dessiner tout spécialement une carte de ces spécialités pour nous faire pardonner.
La plus belle carte des fromages de la Réunion jamais produite.
En revanche, le jeu de données en Open Data conserve les données de la Réunion. L’ensemble des fromages apparait donc sur la carte originale.
Cet article était un exemple succinct de quelques fonctionnalités combinées de la solution OpenDataSoft : Cartographe, filtres, galeries d’images intégrables… La plate-forme Opendatasoft permet d’exploiter des données complexes en quelques instants à travers ses visualisations de données et ses APIs.
Apprenez comment les portails de données renforcent l'efficacité des modèles d'IA en fournissant des données fiables, représentatives et sécurisées, essentielles pour une intelligence artificielle performante et éthique.
Apprenez comment les portails de données renforcent l'efficacité des modèles d'IA en fournissant des données fiables, représentatives et sécurisées, essentielles pour une intelligence artificielle performante et éthique.