Charte éthique pour les algorithmes publics — détaillée

A l’occasion d’un workshop organisé le 24 mai 2018 de 14h à 18h, Galatea a réuni une vingtaine d’étudiants de compétences variées et complémentaires (ingénieurs, politistes, philosophes, juristes…) dans les locaux de Google France pour travailler sur le sujet de « l’éthique des algorithmes publics ». Quatre équipes ont soumis leurs propositions et deux ont été retenues pour les présenter à l’occasion d’une conférence organisée le 21 juin 2018. Cette conférence sur « l’éthique des algorithmes publics » était organisée en partenariat avec l’Ecole Nationale d’Administration (ENA) et l’association Open Law entre Paris (locaux d’Open Law) et Strasbourg (à l’ENA) avec une retransmission et participation en direct. Les équipes gagnantes (Léa Longo, Adèle Paris, Benjamin Chiche, Damien Laurent, Hubert Etienne, Philip Polack, Rosalie Bourgeois de Boynes) ont produit ces principes et propositions.

Une version abrégée de ces principes et proposition est disponible ici. Vous pouvez également lire le compte-rendu de notre conférence du 21 juin 2018.

I- Préambule

Le récent débat autour des enjeux éthiques des algorithmes et de leurs impacts sur la société a rencontré une place particulière dans le secteur public, notamment autour de la question des règles de sélection du programme d’Admission Post Bac. La société civile s’est ainsi saisie de la question en demandant des comptes au service public, révélant ainsi la nécessité d’un débat ouvert concernant des algorithmes publics. L’enjeu n’est autre que la garantie des libertés et droits fondamentaux, dans la mesure où ces algorithmes sont utilisés dans le cadre de missions de service public qui, d’une part, ont un impact significatif sur la vie des citoyens ; et, d’autre part, sont soumis aux exigences particulières qui incombent à l’administration, laquelle manifeste à la fois l’action de l’Etat dans les services qu’il propose au citoyen qui le finance, et dans la coercition à laquelle il le soumet par l’effet de la loi.

La mise en place d’une charte éthique dans le but d’encadrer l’utilisation des algorithmes publics semble alors nécessaire au maintien de la confiance des citoyens en l’administration et l’Etat, de manière à échapper à « la société de défiance » décrite par Pierre Rosanvallon.

Au-delà de cet enjeu principiel, il y a également toute une question autour de la transition numérique, qu’il faut aborder telle une révolution. En effet, l’importance croissante des technologies dans la vie de chacun pose des questions d’acceptation. Concrètement, on peut penser à l’introduction de la télévision dans les années 60 et tous les enjeux sociétaux que cela a suscité. En effet, le caractère inédit de notre situation actuelle implique donc par définition un encadrement. Face à une situation et à des enjeux nouveaux, les cadres éthique et juridique doivent être adaptés. Le code de la route ne prévoit par exemple pas la présence de voitures autonomes sur nos routes.

Les enjeux sont donc au moins trois : comment encoder les principes démocratiques ? comment préparer l’acceptation citoyenne ? Comment encadrer la révolution ?

L’objectif du présent document est, dans un premier temps, de définir le cadre éthique dans lequel une telle réflexion peut être menée, et d’identifier les principes éthiques susceptibles d’être pertinents pour fonder l’encadrement des algorithmes publics, et dans un second temps, de proposer un modèle traduisible en termes de droit et comprenant des mécanismes de performativité permettant une mise en œuvre effective de cette régulation.

II- Définitions

Algorithme

De l’algorithme, Jean-Claude Heudin donne la définition suivante : « Un algorithme est une méthode générale pour résoudre un type de problèmes donné. C’est l’expression abstraite, indépendant d’un langage de programmation, de la suite finie d’opérations ou d’instructions permettant l’obtention du résultat attendu. ». Afin qu’il puisse être mis en œuvre par un ordinateur, l’algorithme doit être exprimé dans un langage informatique sous forme de logiciel, lequel peut combiner plusieurs algorithmes comme le note la CNIL dans son dictionnaire en ligne.

Le présent document distinguera les algorithmes déterministes, qui, à sources de données identiques, produiront toujours le même résultat (exemple : calcul des impôts) ; des algorithmes probabilistes dont le résultat peut varier à jeux de données d’entrée identiques (exemple : algorithme d’apprentissage automatique, réseaux de neurones).

La différenciation des algorithmes prend également en compte la finalité de ces derniers. En effet, il est important de distinguer les algorithmes ayant une fonction d’assistance à la gestion, de ceux ayant une fonction d’assistance à la prise de décision.

Au-delà de la définition proposée des algorithmes il faut particulièrement retenir les distinctions au sein de cet ensemble : des types d’algorithmes différents impossibles à amalgamer dans notre réflexion (déterministe/probabiliste) et des finalités différentes qui vont s’avérer structurantes.

Nous ne tiendrons cependant pas compte de l’échelle de complexité des algorithmes (du simple algorithme aux programmes qui imbriquent de multiples algorithmes).

Algorithme public

La portée d’un algorithme public inclut tout algorithme utilisé à une fin et dans le cadre d’une mission de service public, id est une activité exercée en vertu de l’autorité de l’Etat. Dès lors, cette définition fonctionnaliste inclura à la fois l’utilisation de l’algorithme par un agent public relevant d’une administration publique, un agent privé relevant d’un organisme effectuant une mission de service public par délégation de pouvoir, et un agent privé agissant dans le cadre d’une collaboration occasionnelle avec le service public. Si nous avons conscience de ces différences statutaires, nous décidons de ne pas les considérer comme pertinentes dans notre réflexion, dans la mesure où les algorithmes sont réunis par la notion de « mission publique ».

Un autre élément de distinction semble pourtant plus pertinent ; il s’agit de la question sectorielle. Les secteurs sensibles tels que la détection de fraude, la défense, la sécurité intérieure feront l’objet d’un régime d’exception : si ces algorithmes doivent rester légaux, il semble contre-productif d’exiger la transparence et la publicité de certains secteurs dits sensibles.

Quelles éthiques ?

Méta-éthique

Afin de traiter des questions éthiques sous-jacentes à l’utilisation des algorithmes publics, il est nécessaire de définir les trois niveaux d’éthique dans lesquels notre réflexion s’inscrit : méta-éthique, éthique normative — ensemble des règles de conduite qu’un individu, un groupe, ou une structure s’impose à soi-même de manière libre et consentie, afin d’encadrer la liberté de son agir — et éthique appliquée. Dans la mesure où il s’agit d’une question politique relative à l’utilisation d’outils particuliers par des agents porteurs d’une mission de service public, il ne convient pas ici d’interroger le divers des doctrines morales particulières des citoyens, mais d’approcher la question à partir du système éthique de l’Etat, participant mais non réductible à la morale publique. Historiquement, ce système s’inscrit dans une conception méta-éthique de type constructiviste contractarienne dont le contrat prend forme en droit positif avec la Constitution en vigueur. Les articles de la constitution ayant davantage valeur de directives politiques que de règlements législatifs — leur interprétation et les modalités de leur application demeurant largement relative aux pouvoirs en place –, l’éthique normative de l’Etat répond d’une dialectique permanente entre une perspective déontologique contraignant au respect absolu des droits fondamentaux, et une dimension de plus en plus conséquentialiste visant l’atteinte des objectifs que la société s’est donnée pour elle-même comme finalités de l’association politique. Cette dialectique morale se traduit dans l’art de gouverner par une tension permanente entre « l’éthique de la responsabilité » et « l’éthique de la conviction ». Ainsi donc, la réflexion qui sera menée ici s’inscrit dans une conception méta-éthique constructiviste contractarienne accouchant sur la constitution du 4 octobre 1958 pour la Ve République française, dont la doctrine normative s’articule entre une exigence déontologique du respect des droits fondamentaux et une logique conséquentialiste d’atteinte des objectifs sociaux, pour saisir, dans le champ de l’éthique appliquée aux algorithmes publics la question de l’utilisation éthique des instruments technologiques de gouvernementalité que sont les algorithmes publics.

Ethiques contemporaines

Il semble également pertinent de s’appuyer sur les réflexions menées par Habermas et Apel. Habermas met au cœur de la notion d’éthique le concept de discursivité. C’est considérer que dans un monde où il n’y a plus de valeur absolue, l’éthique passe nécessairement par une discussion pour aboutir à la fondation de principes transcendantaux d’un accord commun. « L’agir communicationnel » est selon Habermas cette situation de délibération où l’on cherche un accord ave l’autre sur la conduite à tenir. Sans prétendre trouver des principes transcendantaux, l’aspect délibératif constitué d’interactions sociétales de cette approche est particulièrement pertinent dans notre réflexion.

La branche d’éthique appliquée correspond à l’application de principes sur une situation donnée, avec des circonstances dans un contexte pratique. Il s’agit de mettre en œuvre les critères généraux éthiques en prenant en compte une situation particulière.

Les deux approches mentionnées ci-dessus appartiennent à des courants minoritaires et très modernes. Elles semblent cependant enrichissantes dans la mesure où la première permet d’introduire la délibération intersubjective et la seconde ajoute l’exigence de contextualiser l’éthique et ne pas se contenter de débats principiels.

S’encadrer, mais contre quoi et envers qui ?

L’illicéité

Il faut nécessairement se prémunir de l’illicéité potentielle des résultats obtenus à la suite de traitements algorithmiques. Dans le cas des algorithmes déterministes, les instructions étant claires, l’écueil à surveiller est la définition de toutes les issues possibles. L’exemple de l’algorithme déterministe d’APB illustre cela : la surcharge des filières n’ayant pas été au cœur des réflexions le tirage au sort a été programmé par défaut. Cette décision est-elle réellement légale dans la mesure où la loi garantit l’éducation supérieure pour tout bachelier ? Pour les algorithmes probabilistes, la logique pouvant parfois être obscure pour les concepteurs, comment être certains que l’algorithme ne prend pas de décision illégale ?

L’arbitraire du résultat

Ce danger apparaît exclusivement dans le cas des algorithmes probabilistes, dans la mesure où les critères de clustering ne sont pas forcément clairement identifiés pour le concepteur, il peut y avoir une forme d’aléatoire dans le résultat. Il faut donc faire de des efforts et prendre conscience de cette problématique.

Responsabilités

Le dialogue entre décisionnaires et techniciens peut fortement être empêché par la complexité informatique qui représente une réelle barrière d’entrée. Le risque est ici d’appauvrir le dialogue entre les deux parties et d’avoir un renvoi mutuel de responsabilités. L’utilisateur est également concerné par la question des responsabilités dans la mesure où en tant que bénéficiaire il est partie prenante.

Principes éthiques et obligations déontologiques de la fonction publique

L’utilisation des algorithmes publics tels que définis supra, doit être à la fois conforme aux principes éthiques caractérisant le régime politique en vigueur et qui concernent tous les citoyens, ainsi qu’aux obligations déontologiques spécifiques de la fonction publique.

Pour les premiers, on s’appuiera essentiellement sur le bloc de constitutionnalité ; la constitution du 4 octobre 1958, la Déclaration des droits de l’Homme et du Citoyen de 1789 (DDHC), le préambule de la constitution du 27 octobre 1946) et les normes complémentaires implicites. Seront également pris en considération les principes présents dans le droit public, en particulier la loi du 6 janvier 1978 relative à l’informatique, aux fichiers et aux libertés, la loi du 7 octobre 2016 pour une République numérique et le règlement du Parlement européen et du Conseil du 27 avril 2016 relatif à la protection des personnes physiques à l’égard du traitement des données à caractère personnel et à la libre circulation de ces données (RGPD).

Pour les seconds, on s’appuiera sur certains éléments du bloc de constitutionnalité, ainsi que sur le droit public et la jurisprudence du Conseil d’Etat.

III- Principes éthiques

Sur la base des différents principes participant exposés ci-dessus, six principes généraux peuvent être définis pour encadrer l’utilisation des algorithmes publics.

Loyauté entendue comme conformité

Comment être sûrs que l’algorithme effectue bien ce qu’on lui demande ? Les réseaux de neurones peuvent se révéler peu intelligibles pour l’humain, voire pour son concepteur. Nous avons en effet beaucoup de difficultés à saisir la logique sous-jacente de certains algorithmes. Dès lors, il existe un risque d’illicéité et d’arbitraire des données produites par les algorithmes.

Il s’agit donc de mettre en place des processus qui permettent d’attester la loyauté des algorithmes. Cela peut notamment passer par de la rétro-ingénierie et le financement de recherche fondamentale dans le domaine des biais algorithmiques.

Testing : simulation, jouabilité, appropriation

La révélation du code source est pour la plupart des citoyens non probante. Si la publicité des codes sources sur des réseaux comme Github a permis l’amélioration participative de certains codes, cette révélation n’est pas suffisante pour insuffler suffisamment de confiance dans les algorithmes publics. Plus que de voir le contenu du code, n’est-il pas plus pertinent d’en comprendre le fonctionnement ? Il serait donc nécessaire de permettre aux citoyens d’explorer les fonctionnalités de programmes reposant sur des algorithmes publics. Jouer avec ses paramètres permet à l’utilisateur de comprendre le fonctionnement de l’algorithme ou tout du moins ses effets. La réappropriation des outils numériques par les citoyens est nécessaire afin de résorber la fracture numérique.

Acceptabilité

Les algorithmes publics doivent concerner tout le monde. Cela signifie aussi qu’ils doivent s’adresser à tout le monde, et que la puissance publique a pour devoir d’en véhiculer une image juste. Il s’agit ici plus d’un enjeu communicationnel général. Il est nécessaire de montrer aux citoyens l’utilité et les bénéfices apportés par cette technologie.

L’introduction du rapport éthique de la CNIL met autant en garde contre les déviances d’une confiance excessive en la machine que contre une défiance maladive envers les intelligences artificielles. Certains mythes témoignent des craintes présentes dans l’imaginaire populaire nourri par une incompréhension face à des algorithmes de plus en plus complexes. Il est donc nécessaire de vulgariser et de présenter une image juste des algorithmes publics.

L’appropriation par des acteurs privés des termes « big data », « data science », « intelligence artificielle », exploités à des fins de marketing est susceptible de pervertir ces concepts et de véhiculer des idées qui ne correspondent pas à la réalité technologique. La puissance publique est donc garante de diffuser une image adéquate des algorithmes, a fortiori des algorithmes publics.

Licéité/ égalité des considérations

Considérant la constitution du 4 octobre 1958, les principes considérés comme particulièrement pertinents sont le caractère démocratique et social du régime, l’égalité des citoyens devant la loi sans distinction d’origine, de race ou de religion (art. 1), ainsi que la promotion de l’égalité entre les collectivités territoriales (art. 72–2). Considérant la Déclaration des droits de l’Homme et du Citoyen de 1789 (DDHC), les principes jugés pertinents sont l’égalité des droits (art. 1), et le droit pour tout citoyen de suivre l’emploi de la contribution publique (art. 14). Considérant les normes complémentaires explicites, on retiendra les principes de garantie de l’égalité des droits entre hommes et femmes dans tous les domaines, l’égal accès à l’instruction, à la formation professionnelle et à la culture, ainsi que l’égal accès aux fonctions publiques et l’exercice individuel ou collectif des droits et libertés proclamés (préambule de la constitution du 27 octobre 1946). Considérant la loi dite Informatique et libertés, les principes particulièrement pertinents ici sont l’interdiction de collecter et traiter des données à caractère personnel faisant apparaître directement ou indirectement les origines raciales ou ethniques, les opinions politiques, philosophiques ou religieuses ou l’appartenance syndicale des personnes, ou qui sont relatives à leur santé ou à leur vie sexuelle (art. 8). Considérant le règlement européen pour la protection des données (RGPD), nous retiendrons en particulier les principes de droit à l’opposition au traitement des données à caractère personnel (art. 21). Considérant le droit public, on retiendra les obligations du fonctionnaire telles que définies par la loi du 20 avril 2016 relative à la déontologie et aux droits et obligations des fonctionnaires, comprenant en particulier les devoirs de dignité, d’impartialité, d’intégrité et de probité dans l’exercice de leurs fonctions, ainsi que l’obligation de neutralité et d’impartialité vis-à-vis des administrés (art. 1), la prévention des conflits d’intérêt (art. 2).

Il s’agit de faire respecter l’ensemble des droits des individus tels que définis par le bloc de constitutionnalité afin d’assurer à tout citoyen une égalité de traitement respectueuse de ses droits fondamentaux, et en particulier dont l’égalité des considérations et des chances ne puisse être altérée par des considérations liées à son sexe, sa race, son origine ethnique, ses considérations religieuses, philosophiques ou politiques.

Transparence augmentée

Considérant la Déclaration des droits de l’Homme et du Citoyen de 1789 (DDHC), les principes jugés pertinents sont le droit pour tout citoyen de suivre l’emploi de la contribution publique (art. 14) et le droit de la société de demander compte à tout agent public de son administration (art. 15). Considérant les normes complémentaires implicites, nous retiendrons parmi les principes à valeur constitutionnelle celui du respect de la vie privée, et parmi les objectifs de valeur constitutionnelle l’accessibilité et l’intelligibilité de la loi. Considérant la loi dite Informatique et libertés, les principes particulièrement pertinents ici sont le droit de décision et de contrôle par tout usager des données à caractère personnel qui le concernent (art. 1), la loyauté et la licité de la collecte et du traitement des données, le caractère pertinent et non excessif de la récolte au regard des finalités qu’elle sous-tend et la limitation de leur durée de conservation cohérente avec ces finalités (art. 5), le principe du consentement individuel dans le cadre du traitement de données à caractère personnel (art. 7), Considérant la loi dite République numérique, les principes particulièrement pertinents ici sont le droit à l’oubli pour les mineurs et le droit d’organiser ante mortem le devenir de ses données post mortem (art. 40). Considérant le règlement européen pour la protection des données (RGPD), nous retiendrons en particulier les principes de transparence des informations (art. 12), de droit d’accès de la personne aux informations le concernant (art. 15), de droit de rectification (art. 16) et droit d’effacement (art. 17), de droit à l’opposition au traitement des données à caractère personnel (art. 21).

Il s’agit de rendre le code source de tout algorithme public à la fois disponible et accessible sur demande à certaines instances d’audit, à défaut de le publier (ce qui poserait d’une part un certain nombre de risques quant à sa sûreté et la bonne conduite de la mission de service public qu’il sert, et d’autre part ne répondrait pas à un besoin pertinent, une très large majorité de la population étant incapable d’en comprendre le contenu). Cette publicité peut prendre la forme d’un document synthèse du code et d’un cahier des charges.

La transparence est dite augmentée en ce qu’elle ajoute à la disponibilité de l’algorithme le droit de tout individu concerné par un traitement algorithmique d’en connaître les principales règles dans un langage qui lui soit intelligible.

Ce document synthétique en plus d’être accessible au plus grand nombre permet de répondre à certains enjeux stratégiques. L’entièreté des cahiers des charges n’a bien évidemment pas vocation à être rendue public, et la publication du code source, en plus de s’adresser à une élite codeuse est susceptible d’entrer en conflit avec certains intérêts d’ordre public.

Ce régime de transparence augmentée connait cependant des exceptions en fonction de la finalité poursuivie par le traitement algorithmique. En effet, lorsque celui-ci poursuit une finalité de lutter contre la fraude, de garantie de la sécurité intérieure, ou de sauvegarder une vie humaine par exemple, la confidentialité de l’algorithme public exploité peut s’avérer nécessaire.

Responsabilité informée

Considérant le droit public, on retiendra les obligations du fonctionnaire telles que définies par la loi du 20 avril 2016 relative à la déontologie et aux droits et obligations des fonctionnaires, comprenant en particulier les devoirs de dignité, d’impartialité, d’intégrité et de probité dans l’exercice de leurs fonctions, ainsi que l’obligation de neutralité et d’impartialité vis-à-vis des administrés (art. 1), la prévention des conflits d’intérêt (art. 2), le devoir d’accomplir les tâches qui lui sont confiées et l’obéissance envers ses supérieurs dans la limite de son droit de retrait (art. 7).

Dans le cadre de l’utilisation d’un algorithme public, il convient de répartir la responsabilité des acteurs sans pour autant la diluer. Chaque acteur participant à la chaîne de vie de l’algorithme, allant de sa commande, à sa conception, son audit puis son utilisation, pourra être tenu responsable d’une faute, qu’elle soit volontaire ou involontaire, dans les limites de son niveau d’information et d’intelligibilité de l’outil. Il appartient donc à chaque maillon de se conformer scrupuleusement aux directives qui lui sont données, et à expliciter l’utilisation adéquate qui peut être attendue de l’instrument de manière à faire circuler la responsabilité et pouvoir se dédouaner en cas de litige. Cette responsabilité individualisée limitée se couple d’une responsabilité illimitée sans faute de l’Etat dans le cadre d’un litige opposant un représentant ou une structure de la fonction publique à un citoyen justiciable.

Enfin, il me semble nécessaire de prendre en compte la dichotomie entre le cahier des charges et la traduction technique : APB et le tirage au sort due à une mauvaise définition du cahier. Parcoursup qui oppose le quota boursier au maximum d’élèves hors académie ? Il y a une réelle fracture entre décisionnaire et data scientiste qu’il ne faut pas négliger.

Présomption d’innocence et précaution

Considérant la Déclaration des droits de l’Homme et du Citoyen de 1789 (DDHC), les principes jugés pertinents sont la présomption d’innocence (art. 9). Considérant la loi dite Informatique et libertés, les principes particulièrement pertinents ici sont la loyauté et la licité de la collecte et du traitement des données, le caractère pertinent et non excessif de la récolte au regard des finalités qu’elle sous-tend et la limitation de leur durée de conservation cohérente avec ces finalités (art. 5). Considérant le règlement européen pour la protection des données (RGPD), nous retiendrons en particulier le droit à l’opposition au traitement des données à caractère personnel (art. 21) et de droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques (art. 22). Considérant le droit public, on retiendra les obligations du fonctionnaire telles que définies par la loi du 20 avril 2016 relative à la déontologie et aux droits et obligations des fonctionnaires, comprenant en particulier les devoirs de dignité, d’impartialité, d’intégrité et de probité dans l’exercice de leurs fonction, ainsi que l’obligation de neutralité et d’impartialité vis-à-vis des administrés (art. 1), le devoir d’accomplir les tâches qui lui sont confiées et l’obéissance envers ses supérieurs dans la limite de son droit de retrait (art. 7).

Afin d’éviter d’une part l’avènement d’une gouvernementalité algorithmique telle que décrite par Antoinette Rouvroy et Thomas Berns conduisant à l’utilisation d’algorithmes prédictifs à des fins de justice prédictive et de police préventive, il est nécessaire de consacrer la présomption d’innocence reconnue par l’article 9 de la DDHC dans un sens large dépassant le cadre juridique et la protection de l’article 22 du RGPD, pour pénétrer le cadre administratif, afin qu’un individu ne puisse pas être lésé dans le cadre d’une service public sur une simple sur le seul élément d’une évaluation probabiliste de son comportement. D’autre part, cette présomption d’innocence doit être élargie à une forme de principe de précaution dans le cadre d’utilisation d’algorithmes publics à des fins militaires, en particulier en ce qui concerne les frappes létales opérées par des drones.

Droit de recours

Considérant la Déclaration des droits de l’Homme et du Citoyen de 1789 (DDHC), les principes jugés pertinents sont le droit pour tout citoyen de suivre l’emploi de la contribution publique (art. 14) et le droit de la société de demander compte à tout agent public de son administration (art. 15). Considérant la loi dite Informatique et libertés, les principes particulièrement pertinents ici sont le droit de décision et de contrôle par tout usager des données à caractère personnel qui le concernent (art. 1). Considérant le règlement européen pour la protection des données (RGPD), nous retiendrons en particulier les principes de droit d’accès de la personne aux informations le concernant (art. 15), de droit de rectification (art. 16) et droit d’effacement (art. 17), de droit à l’opposition au traitement des données à caractère personnel (art. 21) et de droit de ne pas faire l’objet d’une décision fondée exclusivement sur un traitement automatisé produisant des effets juridiques (art. 22).

Conformément aux articles 14 et 15 de la DDHC consacrant le droit de tout citoyen de suivre l’emploi de la contribution publique et de demander compte à tout agent public de l’administration, renforcé par l’article 1er de la Loi dite informatique et libertés, tout citoyen estimant que ses droits et libertés ne sont pas pleinement respectés, ou seraient susceptibles de ne pas l’être par un agent ou une structure doté d’une mission de service public, ainsi que tout agent du service public étant témoin de l’utilisation d’un algorithme qui lui paraît non conforme au principe de licéité, doit disposer de moyens satisfaisants pour faire évaluer ex post la légalité de l’algorithme et de son utilisation pour une commission d’experts.

Mutabilité

Tenant compte du fait que « la loi d’hier n’oblige pas aujourd’hui », principe de relativisme culturel à l’épreuve du temps que Louis Rolland a nommé mutabilité et qui fut consacré par l’arrêt « Compagnie Nouvelle du Gaz de Déville-Lès-Rouen » rendu par le Conseil d’Etat le 10 janvier 1902, il doit toujours être possible de réformer les principes d’encadrement de l’utilisation des algorithmes publics, à la suite d’une concertation nationale, afin de répondre aux mutations de la société.

IV- APPLICATION

Les mécanismes garantissant l’effectivité de ces principes sont au nombre de trois : contrôle, sanctions, communication.

a. La charte s’applique à tous

La charte s’applique en effet aussi bien aux donneurs d’ordre, qu’aux concepteurs, aux développeurs et aux utilisateurs. En ce sens elle ne saurait prendre une forme unique. Il s’agirait de développer les présents principes en quatre déclinaisons différentes adaptées aux spécificités de chaque partie prenante.

Cette charte peut s’inscrire dans une conception de droit souple tout en étant accompagnée d’un droit dur pour des principes fondamentaux et non ambivalents.

Il ne faut pas oublier de prendre en compte les différentes distinctions entre algorithmes. Il s’agit d’effectuer des différenciations selon les types de finalités, comme c’est le cas pour la tenue du registre des traitements à l’intention de la CNIL. L’encadrement serait de principe avec un régime d’exception sectoriel (sécurité intérieure, fraude…).

Cadre légal

Considérant les normes complémentaires implicites, nous retiendrons parmi les principes fondamentaux reconnus par les lois de la République les droits de la défense.

Considérant le bloc de constitutionnalité, on retiendra en particulier la sauvegarde de l’ordre public comme objectif de valeur constitutionnelle et le principe de continuité de l’Etat comme prince à valeur constitutionnelle.

b. Organiser le contrôle

Un mécanisme de contrôle automatique de conformité ex ante

Qu’il soit développé en interne, ou fasse l’objet d’un appel d’offre, tout algorithme public doit pouvoir être audité. Il conviendra donc d’inscrire au sein du code de la commande publique qui verra le jour fin 2018, et en supplément des principes fondamentaux de la commande publique que sont la transparence de la procédure, le libre accès à la commande publique, l’égalité de traitement des candidats et la bonne gestion des deniers publics ; la possibilité de subir un audit par une structure agrémentée. Ainsi donc, lorsque la commande publique porte sur ou implique des programmes informatiques, il devra être rendu obligatoire la communication d’un dossier comprenant une documentation technique relative à l’algorithme incluant les limites techniques de l’algorithme, un manuel utilisateur incluant les limites d’utilisation, un argumentaire justifiant le respect de l’ensemble des principes légaux précédemment mentionnés, ainsi que le détail des tests réalisés et la justification de leur cohérence avec l’utilisation future de l’algorithme.

En d’autre termes, lorsqu’un service public ou une entreprise privée s’étant vu confier une mission de service public développe ou commande un nouvel algorithme, celui-ci devra contractuellement faire l’objet d’une phase de test documentée avant une mise en production de l’outil informatique.

La phase de test, réalisée par l’organisme développant et contrôlé par une structure privée spécialisée dans l’activité, n’aura pas pour fonction de juger de la licéité de l’algorithme, mais uniquement de sa loyauté, c’est-à-dire de la conformité entre le descriptif de la commande, communiqué par le commanditaire au commandité et spécifiant ses attentes concernant le logiciel à produire, et la fiche technique de livraison, laquelle se divise en une partie détaillée à destination du commanditaire et expliquant en quoi l’algorithme répond aux critères demandés (lesquels pourront par exemple inclure l’absence de biais spécifiques), et un guide d’utilisation intelligible à destination des exécutants qui auront à manipuler le logiciel.

Ainsi donc, ni le concepteur de logiciel, ni la structure d’audit ne pourront être tenus pour responsable de critères illicites dans le descriptif de commande. Compte tenu d’une part de la concurrence présente lors d’un appel d’offre public, et d’autre part du nombre conséquent d’algorithmes publics à auditer par an, il serait préférable de faire peser les frais d’audit aux compétiteurs en lice, plutôt qu’à l’administration. En effet, le coût important de ces audits, de part la complexité de la tâche et la nécessité de recruter experts notoires très qualifiés, constituerait un véritable gouffre financier pour les collectivités territoriales, si elles étaient amenées à l’assumer. Ceci ne devrait toutefois pas conduire à un conflit d’intérêt avec les concepteurs de logiciels, dans la mesure où le risque pénal et de réputation assumé par les structures d’audit suffiraient à assurer leur intégrité.

La structure de l’audit pourra s’articuler autour d’une phase dédiée à la collecte et au traitement de données (data mining et data collecting) visant à évaluer la conformité au RGPD et l’entraînement éventuel de l’algorithme, une phase propre au data sorting et data cleaning, évaluant si l’entraînement est représentatif ou discriminant, une phase d’évaluation de la pertinence du type d’algorithme (performance notamment), et une phase d’interprétation des hypothèses en calculant les corrélations entre les variables.

Un mécanisme de contrôle sur demande de licéité ex post

Conformément au principe du droit de recours mentionné supra, tout citoyen étant en position d’émettre des doutes sérieux quant à la licéité d’un algorithme public, qu’il soit lui-même impacté par son utilisation ou non, aura droit de demander un contrôle de licéité. Cette requête pourra être formulée auprès du Défenseur des droits et des libertés, dans le cadre de sa mission instituée par l’article 71–1 de la Constitution, lequel portera la requête devant une commission mixte composée de représentants de la CNIL, de membres de la Commission de déontologie de la fonction publique, et d’experts, appartenant à un comité d’audit qui pourra être indépendant ou rattaché à la CNIL, et dont la mission sera de fournir un audit très précis de l’algorithme objet du litige, et de présenter ses conclusions à la commission.

Dans le cas où les membres de la CNIL et de la Commission de déontologie de la fonction publique ne parviendraient pas à s’entendre sur l’issue du litige, ce dernier pourra être directement transmis au Conseil constitutionnel, sans être soumis au filtre du conseil d’Etat. Dans le cas où l’accusation du citoyen serait confirmée par la commission mixte, l’affaire serait ensuite transmise au tribunal de grande instance ou au tribunal administratif compétent, selon les conclusions de l’audit et le type de personne responsable (agent public ou société privée). Dans le cas où le citoyen serait débouté, il pourrait faire appel auprès de la Cour européenne des droits de l’homme, ou du Comité européen de la protection des données.

D’autre part, toute personne rattachée à un service public ou à une structure privée s’étant vu confier une mission de service public, qu’elle soit exposée directement ou indirectement à un algorithme public dont elle est amenée à fonder des doutes sérieux quant à sa licéité, doit également être en droit de le faire savoir. Le droit de refuser l’exécution d’un ordre « manifestement illégal et de nature à compromettre gravement un intérêt public » faisant déjà l’objet de l’arrêt « Sieur Langneur » du Conseil d’Etat prononcé le 10 novembre 1944, puis reconnu par l’article 28 de la loi sur les droits et obligations des fonctionnaires du 13 juillet 1983, il leur sera donc ajouté celui de communiquer à la Commission de déontologie de la fonction publique leurs doutes quant à la licéité d’un algorithme publique. Ceci devrait les conduire à une certaine vigilance particulière dans la conduite de leur mission de service public. Au cas où ils se verraient opposer une fin de non-recevoir de la part de cette commission, ils seraient alors libres d’adresser leur requête auprès du Défenseur des droits et des libertés.

c. Prévoir des sanctions associant risques de réputation et risque pénal

Dans le cadre d’un contrôle de conformité ex ante, si l’audit de l’algorithme commandé révèle des divergences importantes avec les directives de la commande, l’entreprise conceptrice du logiciel est mise en demeure de fournir des explications. A la fin de l’investigation, s’il est prouvé que ces divergences correspondent à des écarts intentionnels de la part du concepteur, alors la responsabilité civile de l’entreprise pourra être engagée, voire la responsabilité pénale du directeur de projet ou de son directeur technique (ou chief ethics officer s’il en est un). S’il est prouvé que ces écarts sont non intentionnels, la société sera innocentée, mais son image sera ternie, et la récurrence de divergences importantes entre la commande et le livrable nuira à sa réputation, impliquant donc une sanction commerciale.

Dans le cadre d’un contrôle de licéité ex post, si l’algorithme est jugé déloyal (i.e. non conforme à la commande ou à sa fiche technique) après avoir subi la phase d’audit, c’est alors la responsabilité de la structure d’audit qui sera questionnée selon la même modalité. Cependant, s’il est jugé conforme à la commande et sa fiche technique, mais que la commande-même qui comporte des caractéristiques illicites, alors c’est la responsabilité du responsable auquel a été confié la mission de service public qu’il reviendra de s’expliquer, l’exposant ainsi à des sanctions administratives. Enfin, dans le cas où l’algorithme s’avère loyal et la commande licite, c’est alors la responsabilité de l’agent exécutant qui sera engagée, l’exposant à des sanctions administratives, lequel devra répondre de sa faute professionnelle, en dépit de la connaissance d’une fiche technique qui lui soit intelligible.

d. Former et informer

L’encadrement éthique de l’utilisation des algorithmes publics ne saurait se réduire à des mécanismes de contrôle et de sanction. Il est nécessaire d’impliquer les divers agents exposés à ces instruments dans la réflexion éthique sur l’impact de leur travail, afin en amont de provoquer une prise de conscience, d’informer des risques et d’expliquer les conséquences. Il est pour cela souhaitable que des séminaires obligatoires soient organisés, de manière à former les divers maillons de la chaîne aux enjeux éthiques auxquels leur profession les expose, ainsi que de les informer de la responsabilité qu’ils assument et des sanctions qu’elle implique.

Il y aurait également des efforts de communication et d’information auprès du public pour pallier la fracture numérique qui s’étend de plus en plus. Si les entreprises ont été obligées de communiquer sur les conditions d’utilisation mises à jour avec le RGPD, les citoyens n’ont pas nécessairement connaissance de leurs droits.

e. Une autre voie possible ? L’idée d’un droit souple en accord avec la philosophie numérique.

Le droit dur ne disparaît pas entièrement. Avec les principes d’administration, il s’applique d’office et ne sont pas remis en question pour les algorithmes publics. Nous proposons d’ajouter un décret pour le cas où un principe légal est transcrit en un algorithme. Dans la mesure où il s’agit d’enjeux démocratiques importants, un encadrement non flexible est nécessaire.

Mais excepté ces deux points, n’est-il pas possible d’encadrer par principe avec un droit souple ? Le monde numérique fait aujourd’hui des avancées particulièrement rapides et le progrès technologique connaît un rythme d’évolution sans précédent. Le domaine juridique qui est plus lent peine à s’adapter et nous faisons face aujourd’hui à de nombreuses situations qui ne sont pas inscrites dans la loi. D’autre part, il serait dangereux de trop légiférer, trop tôt, trop vite, quitte à voir ces décrets périmés aussitôt adoptés. Dans le rapport « Comment permettre à l’Homme de garder la main ? », la CNIL adopte en effet cette position de droit souple à la lueur des considérations exposées ci-dessus.

Il s’agit donc d’opter plus pour une dynamique de cercle vertueux qu’un droit dur. Considérant le mouvement général et la teneur du monde numérique, le développement d’un droit dur qui s’applique exclusivement aux algorithmes publics peut sembler maladroit. L’Etat ne doit-il en effet pas dialoguer avec la société contemporaine ?

Concrètement, l’idée serait d’enclencher une dynamique de cercle vertueux avec pour priorité d’internaliser les compétences de Data Science au sein de la puissance publique, comme c’est déjà le cas avec Etalab.

Il est possible de penser à la création d’une Autorité Administrative Indépendante (ad hoc ou existante) qui centralise l’encadrement souple des algorithmes publics voire privés à terme. Cette Autorité serait dotée d’une plateforme qui permet aux codeurs et aux administrations de faire le lien. Elle serait composée d’experts (CNIL, Etalab, chercheurs…) chargés de développer un ou plusieurs labels ainsi qu’une charte d’excellence. Une API avec un accès sécurisé donnerait accès à certains codes sources. Elle serait enfin chargée d’instaurer une accessibilité aux codes sources (ou à leur vulgarisation) lorsque les algorithmes ont des conséquences directes sur les citoyens.

Références

[1] COMEST, Rapport de la COMEST sur l’éthique de la robotique, Unesco, septembre 2017.

[2] Delvaux Mady (rapporteur), Rapport contenant des recommandations à la Commission concernant des règles de droit civil sur la robotique, Parlement européen, janvier 2017.

[3] Demiaux Victor, Si Abdallah Yacine, Comment permettre à l’homme de garder la main ? Les enjeux éthiques des algorithmes et de l’intelligence artificielle, CNIL, décembre 2017.

[4] Ganay (de) Claude, Gillot Dominique (rapporteurs), Pour une intelligence artificielle maîtrisée, utile et démystifiée, Rapport au nom de l’Office parlementaire d’évaluation des choix scientifiques et technologiques, mars 2017.

[5] Günter Schumacher Ernst, « ‘Éthique’ et ‘morale’ en français, en allemand et en anglais », Revue du MAUSS, 2006, vol. 2, n° 28, p. 367–382.

[6] Heudin Jean-Claude, Intelligence artificielle. Manuel de survie, Science-eBook, 2017.

[7] Gérard MAIRET, Le Principe de souveraineté. Histoire et fondements du pouvoir moderne, Paris, Gallimard, 1996, p. 148.

[8] Bernard Mandeville, Recherches sur l’Origine de la Vertu Morale (1714), La Fable des Abeilles suivi de Recherches sur l’Origine de la Vertu Morale, trad. angl. J. Bertrand, Paris, Berg International, 2013.

[9] Pierre Rosanvallon, La Contre-démocratie, La politique à l’âge de la défiance, Paris, Seuil, 2006.

[10] Jean-Jacques Rousseau, Du contrat social ou Principes du droit politique, Amsterdam, Marc Michel Rey, 1762.

[11] Antoinette Rouvroy, Thomas Berns, « Gouvernementalité algorithmique et perspectives d’émancipation. Le disparate comme condition d’individuation par la relation ? », Réseaux, n° 177, 2013, p. 163–196.

[12] Cédric Villani, Donner un sens à l’intelligence artificielle. Pour une stratégie nationale et européenne, France IA, mars 2018.

[13] Max Weber (1919), Le savant et le politique, Paris, Plon, 1995.

[14] Déclaration des droits de l’homme et du citoyen de 1789.