Expérimentation d’ouverture des algorithmes publics à la Métropole Européenne de Lille
Datactivist a accompagné la MEL dans le cadre d’une mission d’exploration de l’ouverture de ses algorithmes publics. Cet article, écrit à plusieurs mains par la MEL et par Datactivist, aborde les difficultés rencontrées, les incertitudes, les réussites, les points de vigilance et les perspectives pour l’avenir.
La MEL a souhaité, par cette mission, contribuer à la réflexion sur le sujet des algorithmes publics. L’ensemble de la documentation et de la méthodologie sont disponibles sous licence CC-BY-SA : https://opendatacanvas.org/transparence-algo
Selon la loi pour une République numérique, les administrations doivent notifier aux personnes que leur décision a été prise sur la base d’un algorithme et qu’elles disposent d’un droit d’information individuel.
De plus, les administrations de plus de 3 500 habitants ou de 30 ETP doivent donner une information en ligne sur les principaux traitements algorithmiques, le registre des algorithmes publics.
Le regard interne : celui de la MEL
Rédaction : Hafid Ait Sidi Hammou et Myriam Limpens, pour la MEL
Une posture « R&D » au-delà de l’application du droit
Si le contexte légal a été un déclencheur de notre démarche d’ouverture des algorithmes, le cadre du projet dépassait l’application seule du droit.
D’abord parce que nous avons utilisé la réglementation comme prétexte pour poser et répondre à de multiples questions en parallèle : comment sensibiliser et embarquer les agents sur ce sujet ? Quels sont les principaux obstacles à l’identification, l’explication et la publication des algorithmes? Est-il possible de définir une méthodologie qui pourra être réutilisée, notamment par les communes du territoire ? De plus, ce projet rejoint nos travaux en cours sur l’intelligence artificielle, qui posaient déjà la question de la maîtrise d’algorithmes plus ou moins complexes, la place qu’ils pourraient prendre dans les politiques publiques et leur gouvernance.
Cette approche et ces questions ne seraient rien si elles n’étaient pas partagées et confrontées à des cas réels et à des perspectives diverses. C’est pour cela que plusieurs agents de directions très différentes (des Systèmes d’Information aux Affaires Juridiques en passant par l’Habitat ou les Déchets ménagers) ont été sollicités, parfois même sans qu’un lien direct avec le sujet ait été identifié.
Enfin la « posture R&D » était également partagée avec Datactivist pour qui le sujet méritait encore d’être travaillé, notamment en vue de poser une méthodologie et de tester la plateforme Saidot. Concrètement, cela signifiait partir sans certitudes des résultats que nous allions obtenir, en testant des outils et des formats d’ateliers, mais avec comme objectif de capitaliser au maximum sur ces expériences pour partager ensuite des ressources utiles.
La difficile définition d’« algorithme » : entre freins et opportunités
Sur le fond, nous voulons revenir sur la particularité première du projet : ses termes. Nous parlons d’algorithmes, de traitements algorithmiques, plus ou moins automatisés, pas toujours informatisés, qui fondent des décisions, qui sont administratives et individuelles !
Le premier ressenti, et qui perdure, c’est que ces termes représentent le frein principal pour entrer dans le sujet, et pour y rester. Beaucoup de collègues (nous compris !) ont encore du mal à parfaitement jongler avec tous ces mots et les projeter dans leur réalité professionnelle. La première réaction sera alors soit « je n’ai pas compris de quoi on parle » soit « rien de ce que je fais n’entre dans ces cases ».
Toutefois, dans le même temps les échanges avancent et dans le cadre d’ateliers d’intelligence collective les idées fusent, les agents y reconnaissent des pratiques, des logiciels, des services. C’est alors un fil à tirer pour détailler et affiner les contours de l’algorithme. Le degré d’automatisation est par exemple une question passionnante qui ne trouve pas réponse immédiatement, tout comme la distinction entre décision et aide à la décision.
Plutôt qu’un frein, nous préférons désormais voir ces termes comme autant d’opportunités de porter un regard nouveau sur nos pratiques algorithmiques (j’ajoute un nouveau terme !) pour mieux les questionner, les améliorer et les rendre transparentes.
L’étonnement de l’appropriation du sujet par les différents acteurs impliqués
Comme à tout retour d’exploration, il y a des étonnements qui cristallisent des enjeux non perçus de prime abord mais décisifs pour la suite.
En plus d’avoir embarqué les services dans l’aventure, l’une des principales découvertes a été l’appropriation par les agents de la problématique de l’ouverture des algorithmes, malgré le frein des termes énoncé précédemment. Outre le cadrage général proposé par notre direction R&D, les différentes directions impliquées ainsi que notre contact au sein d’Ilevia (Keolis) ont toutes rattaché des objectifs et des questions propres à la démarche.
Dans les exemples, on pense à nos collègues en charge du Fonds de Solidarité Logement qui se sont réappropriés le sujet de l’ouverture des algorithmes avec la volonté de diminuer le non-recours à cette aide importante. Nos collègues en charge des Systèmes d’Information et celui en charge de la Protection des données ont aussi reformulé le projet en leurs termes pour pérenniser la démarche dans leur travail quotidien qui croise le cycle de vie d’un algorithme (voir plus bas). Enfin, cela amenait aussi parfois à questionner plus en profondeur le métier sur leur capacité à, d’un côté détailler au maximum le fonctionnement du traitement jusqu’à la décision finale, et de l’autre expliquer en des termes simples et concis le traitement en question.
Cela nous inspire deux choses. D’abord que les motivations à s’embarquer dans des démarches d’ouverture des algorithmes sont multiples et qu’il faut savoir les présenter pour assurer une participation large et pérenne. Ensuite, que derrière la seule publication de registre il existe d’autres actions qui peuvent découler de cette démarche, qu’il est important d’identifier car elles iront toutes vers un usage plus responsable et maîtrisé d’algorithmes.
Pour un numérique responsable
Même si tous les algorithmes publics ne sont pas informatisés, cette démarche d’ouverture des algorithmes publics s’inscrit par ailleurs dans un mouvement plus large au sein de la MEL vers un numérique plus responsable. Cette notion de numérique responsable comprend de nombreuses dimensions visant aussi à assurer la confiance dans les technologies et usages présents et futurs. En entrant dans le sujet algorithmique c’est un nouveau champ d’action qui s’ouvre pour la MEL avec plusieurs enjeux importants.
Parmi les premiers, on citera l’engagement vers plus de transparence de l’action publique et le partage d’informations plus lisibles aux usagers (en continuité de l’Open Data ou de la protection des données personnelles par exemple). On ajoutera parmi les nouveaux enjeux que soulignent la démarche d’ouverture des algorithmes ceux liés à la responsabilité, la maîtrise et la sécurisation des traitements. Souvent considérés sous le prisme de la cybersécurité ou de la souveraineté numérique, ces questions de maîtrise sont aussi posées, et peuvent être résolues en partie, par la revue de ses algorithmes.
La MEL s’engage par ailleurs sur ces questions avec la volonté de contribuer avec d’autres acteurs publics, à commencer par ses propres communes. Parti des travaux d’Etalab et d’autres collectivités (Antibes, Nantes, Paris), un tel projet permet alors de proposer de nouvelles briques et de co-construire le numérique de demain. Nous avons eu l’occasion d’en échanger avec différents acteurs lors du dernier Numérique en Commun[s] et nous espérons que la dynamique se poursuivra.
Le regard externe : celui de Datactivist
Rédaction : Justine Banuls et Anne-Laure Donzel, pour Datactivist
Chez Datactivist, nous avons la conviction que la transparence et la redevabilité des algorithmes publics est un sujet à haut potentiel transformateur et d’amélioration pour les administrations. Il nous paraissait essentiel de mener une première démarche d’accompagnement sur le sujet et c’est ainsi que nous avons eu la chance de mener cette mission avec la MEL.
Un projet collectif
Le projet Open Algo a été menée par une équipe projet composée de deux membres de la Direction Recherche et Développement de la Métropole européenne de Lille (MEL).
Nous avons sollicité au cours du projet plusieurs acteurs de la métropole, formant une équipe support.
La sollicitation de ces personnes répondait à plusieurs objectifs :
- bénéficier de leur expertise respective,
- les acculturer au sujet des algorithmes et de leur transparence,
- comprendre leur rôle et intervention sur les algorithmes,
- pérenniser la démarche de transparence algorithmique au-delà du temps court du projet.
Inclure les services métiers dès le début du projet
Plusieurs services métiers et un délégataire ont également été inclus dans le projet dès le début, leur présence est importante car ils mettent en œuvre les politiques publiques de la métropole en utilisant, parfois, des algorithmes. Le choix des services métiers sollicités s’est porté vers ceux dont des algorithmes ont été pré-identifiés ou ceux avec qui l’équipe projet était déjà en lien afin de faciliter les échanges.
Comme pour les personnes ressources mentionnées ci-dessus, la sollicitation des services métiers dès le début du projet avait plusieurs objectifs :
- les acculturer au sujet des algorithmes et à leur transparence,
- leur faire prendre conscience de leur usage des algorithmes,
- légitimer l’identification de leur(s) algorithme(s) et continuer sereinement la démarche d’ouverture avec leur accord.
Un sujet qui mobilise
Globalement, l’ensemble des personnes rencontrées a montré, tout au fil de la mission, un réel intérêt pour le sujet, tant par leur présence aux différents évènements (un séminaire, un atelier, plusieurs entretiens) que par les réflexions qu’elles ont partagé avec nous sur le sujet.
Si certaines personnes se sont montrées circonspectes ou se sont déclarées « perdues » au commencement du projet, probablement par manque de connaissance sur le sujet ou par un sentiment d’illégitimité face à un domaine associé à une grande technicité, il faut noter qu’en fin de projet elles ont été curieuses de voir aboutir le registre des algorithmes.
Restreindre sans exclure : le succès d’une pré-identification
Après une première phase de partage de définition, le cadre de la mission prévoyait de ne travailler que sur quelques (entre 3 et 5) algorithmes. Mais comment les choisir ?
Le parti-pris lors du séminaire de lancement de la mission Open Algo a été de dire : “Sans exclure les algorithmes non informatisés, essayons de nous focaliser sur ceux qui le sont”. Si le démarrage a été délicat, une fois posée la définition, une quinzaine d’algorithmes ont finalement été identifiés par les participants et participantes.
Convaincre les services d’aller vers la publication
Passé cette étape de pré-identification de quinze algorithmes, l’équipe projet n’en a conservé que sept pour poursuivre le travail avec les services métiers et sélectionner ceux à publier. L’équipe a suivi des critères de disponibilité, de pertinence et de diversité (avoir un algorithme utilisé par un délégataire, algorithmes au fonctionnement différent).
Au final, sur ces sept algorithmes, trois ont été définitivement conservés. Plusieurs raisons expliquent ce choix :
- un refus de reconnaître le caractère d’algorithme à un processus par plusieurs services,
- des algorithmes en développement dont l’ouverture pourrait enrayer leur développement.
Remplir le registre : une collecte d’informations parfois chronophage et une vérification bénéfique des procédures décisionnelles
Renseigner les informations sur les algorithmes, en suivant la loi et les recommandations d’Etalab[1], nécessite une connaissance fine de la procédure décisionnelle autant que du traitement algorithmique.
Les services métiers et partenaires ont dû effectuer un travail de collecte de ces informations en contactant parfois plusieurs personnes au sein de leur direction.
Cette étape est chronophage et elle demande une implication très forte du service concerné. Mais elle contribue à solidifier voire à améliorer la procédure décisionnelle car elle oblige les services à s’interroger sur leurs méthodes et leur organisation. Elle permet également d’acculturer à l’usage et à la redevabilité d’un algorithme public.
Le choix du support du registre : un pas vers l’explicabilité des algorithmes
Dans le cadre de la mission, le choix a été fait, relativement tôt, de tester la plateforme développée par Saidot, une entreprise finlandaise, pour créer le registre des algorithmes.
Cela permettait de poursuivre le travail exploratoire en utilisant l’une des seules solutions proposée sur le marché[2].
Un travail de traduction a été réalisé et malgré des atouts importants, cette plateforme n’a pas totalement convaincu les services, notamment par un manque de hiérarchisation des informations et de lisibilité du propos.
Comment donner une bonne information ?
Un des défis de la création du registre est de donner l’ensemble des informations requises par la loi tout en étant compréhensible par un large public. Certaines recommandations ont été formulées en ce sens par les services impliqués dans la démarche.
Selon eux, la structure de l’information doit permettre aux personnes consultant le registre de lire l’essentiel de l’information au premier coup d’œil, puis de pouvoir approfondir dans un deuxième temps si elles le souhaitent. Les préconisations et recommandations qui existent sur les mentions d’information dans le cadre des données à caractère personnel proposent des éléments qui peuvent servir d’inspiration[3] : fournir une information concise, transparente, compréhensible et aisément accessible, en des termes clairs et simples[4], en privilégiant une information sur plusieurs niveaux.
Une information qui rassure ou qui inquiète ?
Le but premier du registre des algorithmes publics est d’informer les citoyens de l’usage des algorithmes par l’administration, et les informer sur l’exercice de leurs droits. Néanmoins, cette transparence algorithmique peut produire des effets tantôt bénéfiques tantôt nuisibles pour l’image de l’administration.
Lors d’un exercice de comparaison des registres locaux français existants (métropole de Nantes, villes de Paris et Antibes), un point important a été soulevé par les participants et participantes : pourquoi ces algorithmes ont-ils été choisi pour la publication ?
En filigrane, si un effort de transparence est fait sur certains algorithmes, il met en évidence ceux qui sont exclus de la démarche[5]. Cela peut générer des questionnements, voire des suspicions, surtout lorsque les algorithmes répertoriés ne représentent a priori pas de forts enjeux ou impacts.
Pour élaborer ce registre, l’administration prend conscience de son usage des algorithmes, ce qui pourrait conduire à renforcer la confiance. Mais cela pourrait générer en parallèle l’effet inverse : un sentiment de méfiance et l’impression qu’elle cache quelque chose à partir du moment où l’ensemble des algorithmes n’est pas publié rapidement. Cependant, cette mission l’a bien montré : le travail à fournir est important.
A minima, il apparaît donc primordial d’expliquer le périmètre choisi pour le registre et éventuellement de donner une visibilité sur les suites de la démarche.
Pour conclure, cette mission a été riche d’enseignements mutuels. Si le sujet de la transparence des algorithmes publics est rendu obligatoire par la loi, cela reste un sujet encore difficilement par les collectivités. L’étape d’acculturation est un élément fondamental et il faut avoir conscience que cela suppose de réfléchir et éventuellement remettre en question la prise de décision et les processus liés.
Pour la MEL, le sujet est désormais celui du passage à l’échelle de la démarche et de l’information des usagers et usagères. Cette mission étant la première brique d’un édifice bien plus vaste et dont le grand public doit aujourd’hui aussi se saisir.
[1] https://guides.etalab.gouv.fr/algorithmes/inventaire/#comment-realiser-mon-inventaire
[2] Les villes d’Amsterdam et d’Helsinki ont eu recours à Saidot pour produire leur registre d’algorithmes publics. Le gouvernement anglais collabore également avec Saidot sur le sujet.
[3] https://www.cnil.fr/fr/conformite-rgpd-information-des-personnes-et-transparence
[4] RGPD art.12.
[5] Sur cet aspect, voir l’article de Cath Corinne, et Fieke Jansen. Dutch Comfort : The limits of AI governance through municipal registers STS et critical social sciences. septembre 2021. https://doi.org/10.48550/arXiv.2109.02944
Datactivist remercie chaleureusement les co-rédacteurs de cet article Myriam Limpens et Hafid Ait Sidi Hammou de la MEL, ainsi que Justine Banuls qui les a accompagné durant cette mission.
