Présentation d’un Twincity alpha : vers l’amplification du défi

Twincity est un défi porté par le programme Entrepreneurs d’Intérêt Général (EIG) d’Etalab et la Sous-direction Innovation et Transformation Numérique (SDITN) du Ministère de l’Intérieur et des Outre-mer. Son objectif est de réaliser un bac à sable de données synthétiques [1] représentant des scènes photoréalistes de villes françaises afin d’en explorer le potentiel dans la détection de biais algorithmiques d’Intelligence Artificielle (IA) et de répondre aux besoins exprimés par les data scientists en computer vision d’obtenir des jeux de données variées et paramétrables [2].

Le 10 mai 2023 avait lieu la troisième revue de sprint du défi Twincity. L’occasion pour l’équipe de présenter l’avancée de leurs travaux avant d’entamer la phase finale d’amplification de l’impact du programme EIG.

Cette rencontre a également permis aux personnes présentes (SDITN, agents terrain) d’interroger l’équipe et de les encourager à explorer de nouvelles pistes, notamment en matière de visualisation et de simulation (de flux de personnes, de foules) en vue des Jeux Olympiques et Paralympiques (JOP) 2024. Afin de répondre à ces besoins, l’équipe souhaiterait organiser un webinaire sur le potentiel de Twincity en la matière, en y conviant les agents terrain intéressés.

Lien vers la démonstration complète de l’outil.

Génération de flux de piétons sur Twincity

A travers la réalisation d’un jumeau numérique de la ville de Paris, Jehanne Dussert (Lead developer) et Nobila Traore (développeur) ont pu aboutir à la génération et l’extraction de données synthétiques sous différents formats. L’objectif étant à partir de ces données de permettre aux data scientists en computer vision de détecter l’existence ou non de biais algorithmiques.

Menu utilisateur/ice permettrant de paramétrer les scènes urbaines souhaitées

Concernant l’interface utilisateur/ice

Afin de rendre l’outil actionnable, les développeurs ont réalisé une interface permettant à l’utilisateur/ice de paramétrer ses scènes pour obtenir le jeu de données correspondant à son besoin. Il/elle lui est dorénavant possible de :

• Déterminer le nombre d’entités piétons et véhicules souhaitées

• Choisir la date et l’heure afin d’obtenir facilement des scènes de jour ou de nuit

• Déterminer les conditions météorologiques : soleil, pluie, brouillard, neige

• Définir le nombre d’images constituant le jeu de données ainsi que l’angle de la caméra : prise de vue frontale, en plongée, contre-plongée

Deux options viennent compléter l’outil : l’une permettant de laisser le temps s’écouler lors des captures d’images, l’autre de visualiser la vue sémantique [3] de la scène.

Concernant les données générées

Une fois les scènes paramétrées, deux types de données sont extraites.

D’une part, le jeu de données constitué d’images RGB et avec segmentation sémantique afin de permettre de faire de la détection d’objets d’intérêt. Le cas d’usage retenu pour le défi est la détection de piétons. Pour cela, deux caméras sont placées dans la scène, dont l’une d’entre elle comporte un masque pour réaliser la segmentation.

D’autre part, un fichier métadonnées (données décrivant avec précision et exactitude les paramètres de la scène) est créé à chaque jeu de données extrait. Ce fichier métadonnées recense notamment la date et l’heure de la scène, les conditions météorologiques, le nombre de voitures, ainsi qu’un tableau de piétons ayant chacun un identifiant unique et un code couleur associé pour les distinguer. Concrètement, ces informations permettent au data scientist de savoir si son modèle de détection de piétons est sensible à certains paramètres et donc potentiellement biaisé, en comparant les résultats de son modèle avec les métadonnées.

Par exemple : les métadonnées extraites indiquent que 87 piétons étaient présents sur une scène prise en contre-plongée, mais le modèle d’IA n’en a détecté que 65. La même scène prise en vue frontale indique le bon nombre de piétons. Le data scientist peut conclure qu’il existe un biais en fonction de l’angle de la caméra.

Afin de consolider l’intuition des EIG de voir les données synthétiques comme un gisement de recherche exploitable, une étude de sensibilité pour comprendre l’influence de certains paramètres (luminosité, nombre d’entités, angle de caméra) a été réalisée sur différents jeux de données, synthétiques et réelles.

Les échanges suite à la présentation

Le public présent a pu poser de nombreuses questions à l’équipe, notamment afin de savoir s’il serait possible de :

• mieux contrôler le zoom de la caméra pour complexifier la détection de piétons : envisageable ;
• prendre des captures simultanées de différents angles de caméra : envisageable ;
• connaître l’échelle précise des scènes modélisées : pour l’heure, un quartier de Paris est généré pour prioriser d’autres fonctionnalités utiles en data science. La modélisation complète de Paris par les développeurs serait possible et particulièrement pertinente pour des questions de visualisation et simulation de scénarios ;
• réaliser des mouvements de foule complexes : possible techniquement mais non-étudié l’outil n’ayant pas cette finalité pour l’heure ;
• définir des zones précises pour simuler des flux de piétons : l’outil expérimente déjà ce type de procédé en définissant des circuits à emprunter pour les piétons et véhicules ;
• publier des démonstrations de l’outil et cartographier les données utilisées : des démonstrations sont disponibles sur Youtube ainsi que sur Github, la cartographie des données serait envisageable.

La feuille de route pour les deux derniers mois

Les deux derniers mois du défi seront consacrés à l’amplification de l’impact de l’outil. Pour cela, l’équipe prévoit de :

• renforcer son écosystème et son audience en formant de nouveaux utilisateurs potentiels ;
• communiquer en interne et en externe sur l’outil. De nouvelles démonstrations de l’outil seront prochainement disponibles. La réalisation d’un démonstrateur accessible est également prévue ;
• améliorer l’expérience utilisateur/ice en se référant aux UX/UI designers de la SDITN ;
• potentiellement organiser un webinaire avec les agents terrain sur des questions de simulation et visualisation 3D.

En parallèle et afin de poursuivre les objectifs de redevabilité et de collaboration établis en début de défi à l’égard des citoyennes et citoyens, les développeurs continueront d’enrichir la documentation entamée sur Github.

Le sprint en résumé

L’équipe a pu réaliser un premier outil actionnable à destination des data scientists en computer vision afin de détecter les biais algorithmiques.

Des améliorations sont prévues au cours des deux derniers mois ainsi qu’une communication plus importante relative à l’outil.

Enfin, un dernier sprint devrait se tenir d’ici la fin du mois de juin ainsi qu’un webinaire à destination des agents terrain portant sur l’étude de flux de piétons.

[1] Les données synthétiques mentionnées sont des images et des vidéos de scènes représentant Paris capturées dans le moteur de jeu vidéo Unreal Engine et reconstituées à partir de données OpenStreetMap. Seules les données relatives aux immeubles, routes, mobilier urbain sont exploitées. Aucune donnée relative à des piétons, voitures, parties privatives ne sont réelles.

[2] Retrouvez le résumé du précédent sprint rédigé par Jehanne Dussert, développeuse sur le défi : Retour sur le sprint organisé par Twincity : l’équipe dévoile ses premières réalisations.

[3] La segmentation sémantique a pour objectif de définir des classes d’appartenance de chaque objet peuplant Twincity en leur attribuant un code couleur défini. Elle permet notamment de faire de la détection d’objets comme par exemple : de piétons, de fenêtres, de véhicules.