Ethique des traitements algorithmiques publics

A l’occasion d’un workshop organisé le 24 mai 2018 de 14h à 18h, Galatea a réuni une vingtaine d’étudiants de compétences variées et complémentaires (ingénieurs, politistes, philosophes, juristes…) dans les locaux de Google France pour travailler sur le sujet de « l’éthique des algorithmes publics ». Quatre équipes ont soumis leurs propositions et deux ont été retenues pour les présenter à l’occasion d’une conférence organisée le 21 juin 2018. Cette conférence sur « l’éthique des algorithmes publics » était organisée en partenariat avec l’Ecole Nationale d’Administration (ENA) et l’association Open Law entre Paris (locaux d’Open Law) et Strasbourg (à l’ENA) avec une retransmission et participation en direct. Les équipes gagnantes (Léa Longo, Adèle Paris, Benjamin Chiche, Damien Laurent, Hubert Etienne, Philip Polack, Rosalie Bourgeois de Boynes) ont produit des propositions envoyées en amont aux participants de cette conférence.

Après un premier rappel des propositions par les étudiants gagnants du workshop, les élèves de l’ENA ont présenté leurs observations. Quatre intervenants spécialistes du numérique et de l’administration publique étaient également invité à réagir sur ces propositions : Frédéric Bardolle (membre de la première promotion des entrepreneurs d’intérêt général, CTO de la mission “Société Numérique” à l’Agence du Numérique et de l’association Data for Good, co-fondateur d’AlgoTransparency) Caroline Porot (chargée de la mission de transformation numérique auprès de la Région Grand Est), Dr Carole Mathelin (gynécologue-obstétricienne responsable de l’unité de sénologie/pathologies mammaires du CHRU de Strasbourg à l’origine des projets Lymphometry et Senometry, IA pour prévenir les cancers du sein et ses complications) et François Pellegrini (docteur en informatique, professeur des université à l’Université Bordeaux, coauteur de l’ouvrage de référence “Droit des logiciels — logiciels privatifs et logiciels libres”, membre de la CNIL depuis 2014). Les participants ont également pu réagir tout au long de la conférence afin de poser des questions, émettre des remarques et commenter les propositions.

Introduction : présentation des principes & propositions

L’ensemble des principes et propositions des étudiants se trouvent dans leur forme originale dans cet article et une version détaillée est également disponible ici.

Proposition #1 : Rédiger une fiche technique obligatoire validée par un audit

Tout traitement algorithmique public sera livré avec une fiche technique et un rapport d’audit, obligatoire, préalable à son utilisation et réalisé par une structure agrémentée par la CNIL. Cet audit aura pour but d’attester de la conformité du traitement à sa fiche technique, laquelle précisera une documentation technique incluant en particulier ses limites de fiabilité, un argumentaire justifiant le respect des principes juridiques susmentionnés, la finalité du traitement ainsi qu’un guide d’utilisation intelligible pour le personnel exécutant auquel il se destine.

Proposition #2 : Mettre en place une agence d’audit détachée de l’autorité administrative

Une autorité publique se verra confier une mission de contrôle ex post, auditant et statuant sur les traitements algorithmiques pour lesquels une présomption de non conformité aux principes éthiques aura été enregistrée auprès du Défenseur des droits et des libertés. Cette autorité prendra la forme d’une commission mixte composée de représentants de la CNIL, de membres de la Commission de déontologie de la fonction publique, et d’experts reconnus en conception algorithmique.

Proposition #3 : Ouvrir une procédure de référé devant le Défenseur des droits et libertés

Le Défenseur des droits et des libertés sera l’autorité compétente pour recevoir les requêtes citoyennes afin de les porter devant l’autorité d’audit susmentionnée ; il mettra en place une voie de saisine dédiée et simplifiée à cet effet.

Proposition #4 : Développer une responsabilité pénale et des sanctions spécifiques

Dans le cadre du contrôle de conformité ex ante, la responsabilité civile de l’entreprise pourra être engagée — voire la responsabilité pénale du directeur de projet, de son directeur technique, ou de son chief ethics officer s’il en est un — s’il est prouvé que l’existence d’écarts significatifs entre le traitement algorithmique et sa fiche technique relève d’une faute intentionnelle. Dans le cas contraire, c’est à un risque de réputation auquel la société s’exposera. Dans le cadre d’un contrôle de licéité ex post, si le traitement est jugé déloyal ce sera alors la responsabilité de la structure d’audit qui sera questionnée selon la même modalité, ou bien celle du responsable de la mission de service public, dans l’éventualité où le traitement algorithmique serait conforme et loyal mais pas son utilisation.

Proposition #5 : Assurer une formation et information continue des agents du service public

Des séminaires de formation seront mis en places pour sensibiliser le personnel techniques des structures privées et publiques, développant ou utilisant des traitements algorithmiques, sur les enjeux éthiques qu’ils soulèvent et le cadre juridique auquel ils sont assujettis. Ceux-ci interviennent au sein des structures professionnelles, et non en amont, dans les cycles de formation des ingénieurs.

Proposition #6 : Mettre en place des mécanismes de droit souple et “d’Etat plateforme”

Les règles relatives à la commande de programmes de traitement algorithmique public doivent relever du droit dur. Les principes relevant de l’éthique doivent relever du droit souple et être co-créées par les services administratifs et la société civile. Une autorité administrative indépendante assurera le lien entre les pouvoirs publics et les concepteurs des programmes afin d’encourager l’innovation technique. Les traitements algorithmiques doivent offrir des API ouvertes pour permettre à tout citoyen de développer des modèles ou de nouveaux programmes à partir de ces traitements.

Proposition #7 : Internaliser les compétences de la data science

Un effort de recrutement, notamment en vue de développer et pérenniser la mission Etalab, doit être poursuivi afin d’internaliser les compétences en ingénierie nécessaires pour assurer une indépendance et une maîtrise de l’Etat en algorithmie.

Proposition #8 : Créer des labels, référentiels ou certifications

L’autorité administrative indépendante serait en charge de fixer les conditions, délivrer et retirer ces labels. L’instauration d’une procédure de reporting où tout manquement à la charte éthique entraînerait la perte du label. Ce label, transposable au domaine privé, permettrait de renforcer l’attractivité du domaine et de l’éthique public.

Commentaires & remarques des élèves de l’ENA

Remarques générales

Avant de parler d’éthique, il est important de « ré-humaniser » les algorithmes publics : un traitement algorithmique n’est qu’une modalité pour l’administration afin de délivrer une décision individuelle. L’algorithme n’est qu’une traduction du droit par l’informatique, l’humain est systématiquement en garant derrière tout programme. En effet, l’agent public définir le cahier des charges, choisit le prestataire, prend les décisions et l’usager peut également participer à cette définition en apportant ses propres informations. L’algorithme permet de faire le lien entre l’agent et les données de l’usager du service public.

D’un autre côté, des biais cognitifs existent également du côté des agents du service public (par exemple dans la répression des fraudes ou du contrôle sanitaire, l’inspecteur sélectionne a priori les personnes contrôlées). Le traitement algorithmique se conforme et reproduit éventuellement ces comportements, ce qui peut créer des algorithmes biaisés. Les données elles aussi sont présumées justes ce qui n’est pas nécessairement le cas. La mise en place de traitements algorithmiques peut donc être un excellent révélateur des critères utilisés par l’administration et des biais existants. Cela permet de cette façon de travailler sur les principes qui sous-tendent le fonctionnement du traitement et éventuellement le code de ce dernier lorsqu’il n’est pas suffisamment opérationnel. L’enjeu est donc de permettre au maître d’ouvrage d’être en mesure de choisir et ne pas déléguer son pouvoir de décision au maître d’œuvre.

Les propositions suggèrent la possibilité aux usagers d’exercer un recours contre des traitements algorithmiques publics sans même que l’usager ait été l’objet d’une décision défavorable. Or le droit au recours contre un acte administration demande, en l’état, à l’existence d’un intérêt à agir. Attaquer un traitement algorithmique avant même qu’il n’ait été utilisé risque d’inhiber l’administration dans son effort de développement d’outils innovants afin de ne pas prendre de risques et s’exposer à une insécurité juridique. Par ailleurs, il serait relativement complexe de gérer des contentieux a priori sur des applications potentielles du traitement.

D’un autre côté, un régime trop répressif contrôlant le développement d’outils de traitement algorithmique publics, notamment avec une responsabilité personnelle, au-délà d’inhiber le développement de ces modernisation de l’action publique peut également favoriser les grands acteurs du numérique face aux startups et PME locales. Pour minimiser la prise de risque, le commanditaire public favoriserait les offres plus « sûres », favorisant de fait les insiders. L’existence de labels pourrait également entraîner ce genre de distorsion, créant une barrière à l’entrée pour les nouveaux acteurs.

La distinction entre le public et le privé n’est pas nécessairement pertinente. Les traitements algorithmiques privés ne feront pas l’objet de ce genre de régulations. Cela risque d’accroître l’écart de compétences techniques entre le secteur public et les acteurs privés, permettant à ces derniers de développer plus rapidement de nouvelles solutions ne répondant aux critères de la charte. En inhibant sa culture de l’algorithme et accumulant la dette technique, le secteur public sera in fine contraint d’utiliser des solutions développées par des acteurs privés.

Enfin, en ce qui concerne le principe de mutabilité, le programme est amené à changer avec le droit (par exemple pour la fiscalité, dès lors que certaines modalités légales ou réglementaires changent le code devra être adapté en conséquence). Néanmoins pour les principes sous-jacents, mieux exposés grâce à la transparence nécessaire des traitements algorithmiques, ces derniers peuvent faire l’objet de concertations nationales régulières en vue de les revoir voire de les modifier. Ces logiciels doivent néanmoins rester suffisamment souples et simples à modifier afin de maintenir un développement dynamique en accord avec les attentes des usagers.

Commentaires sur les principes & modalités

Pour ce qui est de la « transparence augmentée » il est indispensable d’avoir une interface explicative (ou interface de test) qui puisse permettre à tous de comprendre le fonctionnement du traitement sans se référer au « code source », peu parlant pour la plupart. Toutefois, il n’est pas nécessaire d’exagérer l’importance de cet effet « boîte noire » ; lorsque nous utilisons une voiture, nous ne nous attendons pas à tout comprendre de leur fonctionnement.

Pour l’audit ex-ante, la proposition est intéressante mais demande des compétences qui manquent actuellement au sein de l’administration. Par ailleurs, si l’administration réalise cet audit, ce seront probablement des équipes proches de celles qui ont produit le programme avec un risque de conflit d’intérêt. Confier cette compétence au privé revient à déléguer une partie du pouvoir public vers des agences privées.

En ce qui concerne la responsabilité pénale des agents, elle représente un très grand risque d’inertie, empêchant le développement d’outils de traitement algorithmique publics. Les agents du service public doivent être mis en confiance à l’égard de ces outils ; la responsabilité pénale serait vecteur d’une crainte déjà très présente envers la technologie.

En ce qui concerne la formation ce sont potentiellement tous les agents publics qui seraient en contact avec ces programmes. Ce genre d’obligation de formation reviendrait à proposer une offre d’enseignement pour près de 5 millions de personnes. Reste à voir quels organismes s’en chargeraient, avec quels moyens, sous quels délais…

Enfin, la mise en place d’une nouvelle autorité administrative indépendante (AAI) est à considérer avec précaution. La CNIL est déjà débordée avec ses propres missions et ne partage pas la même culture que l’ARCEP (vision plus protectrice des libertés par rapport à une agence qui soutient le développement d’un secteur économique). Cette dernière pourrait être intéressante dans cette mesure mais reste la question des moyens. Enfin, le mécanisme de saisine doit rester simple pour être effectif.

Dans la constitution de cette potentielle AAI, intégrer des membres de la société civile est une démarche intéressante, en lien avec le développement actuel de « l’open gov » qui associe le citoyen à la décision publique. Cependant pour de la certification de traitement, de la commande public ou pour mettre en œuvre un pouvoir juridictionnel, ces membres de la société civile doivent être particulièrement compétents pour être en mesure de se prononcer. Cela pose donc la question de l’intérêt personnel de ces individus ; une pratique de déport peut être envisagée mais limite l’intérêt de la participation de la société civile. Autrement des jurys populaires avec une formation adaptée pourraient être mis en place mais risque de voir une certaine hostilité de la part des membres de l’administration.

La mise à disposition d’API et de codes sources par cette agence pourrait mener certains citoyens mieux informer à exploiter les failles ou à déjouer le code pour leur propre intérêt (on songe aux risques que comporte le hack d’un programme en matière fiscale).

Discussion libre avec les intervenants

Remarque d’un participant : Au-delà des traitements algorithmiques, la question des données est déterminante et la frilosité de l’administration pour ouvrir ses données reste préjudiciable. En ce sens, il est nécessaire de repenser le cloisonnement entre le public et le privé où les services publics seraient garants de la morale. C’est en travaillant sur des communs public-privé que nous pourrons progresser collectivement. Par ailleurs, comment garantir un versioning du programme afin de pouvoir reconstituer une décision telle que prise deux ans auparavant avant la mise à jour du logiciel ?

Le traitement algorithmique au service de l’Etat, les risques liés aux algorithmes auto-apprenant (Frédéric Bardolle)

Pour ce qui est du traitement algorithmique public, il convient de distinguer les algorithmes auto-apprenants des algorithmes « classiques ». Ces derniers existent depuis l’Antiquité, ce sont des « recettes de cuisine » qui ne posent pas particulièrement de problème. Ils permettent au contraire de formaliser les procès. Pour les algorithmes auto-apprenant (apprentissage machine) la question est plus délicate. La décision n°2018–765 DC (loi relative à la protection des données personnelles) du Conseil constitutionnel dans son point 71 (« Il en résulte que ne peuvent être utilisés, comme fondement exclusif d’une décision administrative individuelle, des algorithmes susceptibles de réviser eux-mêmes les règles qu’ils appliquent, sans le contrôle et la validation du responsable du traitement. ») s’est opposé à l’utilisation d’algorithmes auto-apprenants pour fonder une autorisation administrative tout en imposant une obligation d’explication « en détail et sous une forme intelligible » au responsable de traitement.

L’administration doit poursuivre son effort de transparence, ouvrir et partager ses codes sources. C’est la stratégie adoptée par l’ensemble des grandes acteurs du numérique dont les librairies permettant de créer des algorithmes auto-apprenants sont open source. Cela leur permet de créer des standards sans perdre leur puissance industrielle et économique, fondée sur leurs données. L’Etat doit s’inspirer de ce soft power technologique et devenir leader dans la maîtrise de la programmation par des logiciels ouverts et accessibles plutôt que de développer un programme par service. Cela permettrait notamment, en partageant le code source, de diffuser la culture administrative et les logiciels français auprès de l’espace francophone par exemple.

Enfin, il faut remarquer que le développement de logiciels implique également un transfert de pouvoir. A titre d’exemple, lors d’une réunion un service songeait à la mise en place d’un programme de recommandation pour leur site web. Néanmoins cela supposait l’abandon du contrôle sur la notation et donc le risque de s’exposer à une recommandation négative. Ce transfert peut donc être néfaste et entraîner des effets pervers (par exemple Youtube qui va mettre en avant des vidéos violentes, les plus visionnées par les internautes).

L’algorithme public au service de la santé (Carole Mathelin)

A l’origine l’utilisation de traitements algorithmiques par le CHU de Strasbourg a d’abord permis de mettre en évidence que le dépistages chez les femmes permettait d’éviter 20% d’ablation du sein en moins, de limiter le temps de chimiothérapie et réduit le risque de symptôme du « gros bras ». Plus généralement, cela a permis de constater que ces femmes augmentaient leurs chances de survie de 76%. Ces chiffres permettaient de répondre aux critiques adressées contre la prévention en hôpital.

Désormais, des programmes plus complexes sont utilisés en radiographie, IRM 3D ou pour établir des corrélations entre des données opératoires et des données d’imagerie, permettant de pallier aux limites de l’œil humain. Cela soulève bien sûr certains problèmes éthiques.

On observe de nombreuses demandes de la part de patients pour développer des comparateurs entre médecins ou entre territoires médicaux. Ces questions de répartition territoriale de l’offre de soin ou du risque sanitaire (certains quartiers ou communes sont-ils plus susceptibles d’augmenter le risque de cancer ?) peuvent obtenir des réponses grâce aux données disponibles et à leur traitement algorithmique. Cependant, apporter ces réponses comporte également des risques, sanitaires certes mais avant tout sociétaux.

Le développement du traitement algorithmique en collectivité territoriale (Caroline Porot)

Pour ce qui est des collectivités, la question n’est pas encore tout à fait actuelle. Certaines communes innovent par la mise en place de dispositifs de traitement d’images dans un objectif de sécurité urbaine mais ce genre d’usage est encore loin d’être généralisé. Ce ne l’est pas notamment parce ques les collectivités ne se saisissent pas suffisamment de la problématique des données. L’une des propositions suggère que la publication du code source du programme ne soit pas une nécessité. Or il est déterminant que les collectivités territoriales intègrent ces pratiques dans leur réflexion.

La puissance publique doit s’obliger à une transparence la plus large et la plus complète possible avec l’open data par défaut. Il n’est pas nécessaire de présumer l’usage ou les utilisateurs de la donnée mais simplement les laisser accessibles en considérant que ces données seront utiles. Cette démarche de transparence est encore loin d’être partagée, certaines collectivités ont un sentiment de perte de substance et préfèrent ne pas libérer leurs données en conséquence. Or l’administration a un devoir de transparence et d’intelligibilité.

Par ailleurs, la sphère publique ne doit pas travailler en silo sans s’intéresser à la sphère privée. Elle doit s’intéresser au traitement de la question éthique dans ces entreprises mais aussi au sein d’autres sociétés. On peut en ce sens observer la manière dont la Tech américaine traite cette question de l’éthique.

S’il est nécessaire d’encadrer le fonctionnement du service public, le droit ne doit pas brider sont évolution. Si l’on veut dynamiser les startups et les PME en favorisant l’emploi local dans le secteur de l’innovation, les règles de la commande publique doivent être suffisamment souples pour s’accommoder avec leur culture. Rigidifier ex ante ces règles risque de bloquer la coopération entre ces deux milieux.

Enfin, dans cette transition numérique l’élu est central car c’est lui qui prend la décision finale. En ce sens, il est nécessaire de former les agents du service public certes mais également les élus. Même s’il existe déjà quelques intervenants, former le personnel politique reste un défi car leur connaissance des questions numériques reste très approximative.

Réponse des étudiants

Il est inutile voire dangereux de révéler systématiquement l’ensemble du code source de tout programme qui dans tous les cas n’est pas intelligible pour la plupart des citoyens. Néanmoins, tout algorithme utilisé dans le cadre d’une mission de service public doit pouvoir disposer du droit de saisine d’une commission capable d’auditer le traitement algorithmique afin de garantir son efficacité et son respect des principes éthiques afférents aux textes structurants de notre démocratie.

Par ailleurs, en ce qui concerne la rigidité de la commande publique, il n’y a pas d’opposition de principe entre le fait de développer une culture de l’innovation tout en apportant des gages de sécurité et d’éthique supplémentaires. Il est nécessaire de pousser l’administration à préciser les critères sur lesquels elle fonde entre autre le choix du contrôle des individus. En l’occurrence, malgré la frilosité de l’administration à cet égard, le blocage sociologique ne doit en aucun cas constituer une raison suffisante pour justifier une entorse à ce devoir. En effet, si une exigence pragmatique de faisabilité au nom d’un certain devoir de résultat font partie inhérente de la mission du service public (de par la bonne gestion des deniers publics notamment), le respect des droits fondamentaux doit toujours primer sur de telles ces exigences.

Enfin il existe une distinction fondamentale entre les traitements algorithmiques publics et les autres services privés, justifiant des évaluations éthiques différenciées : tandis que l’individu comme consommateur est dans l’absolu toujours libre d’utiliser ou non un service privé, il est, en tant que citoyen, à la fois contraint par le monopole administratif de recourir aux servies publics pour certaines démarches auxquelles il ne peut se soustraire, contraint par l’impôt de financer le fonctionnement de l’administration publique, et contraint en dernier lieu par la force coercitive de l’Etat mise à disposition de son administration. Aucune de ces trois contraintes ne se retrouve dans l’utilisation de services privés, lesquels ne disposant pas de l’autorité de l’Etat et de son monopole de la violence légitime, ne sauraient être soumis à un régime éthique identique.

Un traitement algorithmique pour réduire l’asymétrie d’information (François Pellegrini)

Le droit et le système démocratique visent à réduire le problème de l’asymétrie de l’information. Le droit d’expression et la liberté de la presse sont deux éléments qui y contribuent. L’ouverture de l’algorithme permet également de réduire cette asymétrie d’information. Les langages informatiques ont été explicitement créés pour être non ambigus ; ils expriment une information de façon univoque.

On évoque aujourd’hui systématiquement le développement d’une « intelligence artificielle ». Or, il n’est pas question d’intelligence : tous les traitements d’IA sont par nature conformistes, ils reproduisent par une analyse inductive le passé dans le futur. Le droit est précisément la capacité de discerner dans le cas d’espèce les éléments qui le distingue du passé et donc qu’il fera l’objet d’une décision différente de celle donnée par le passé. De la même manière, les algorithmes de recommandation fournissent aux individus ce dont eux ou d’autres avaient envie auparavant. Pourtant, ce qui est anormal n’est pas nécessairement déviant. Or le danger de la puissance algorithmique est l’apparence scientifique du traitement dans sa détermination du vrai. Il faut donc se méfier du scientisme ambiant là ou des traitements algorithmiques sont purement machinistriques et conservateurs.

Le traitement inductif auto-apprenant utilisé notamment dans les applications de « justice prédictive » est une réponse conformiste à un traitement inductif par nature erroné. La sous-population représentée dans le cas d’espèce n’est pas nécessairement représentative des données d’entrée en apprentissage et le traitement sera donc inéquitable. On ne juge pas de la même manière selon les contextes socio-économiques. En santé par contre, il est plus facile de créer des automations grâce à des traitements algorithmiques. La biologie est un domaine borné fondé sur des connaissances précises où la recherche du conformisme est bénéfique car elle permet de pallier aux insuffisances humaines. En droit, il est possible de permettre des choses interdites réglée par la force majeure selon les situations particulières ; le médecin à l’inverse doit respecter des règles biologiques bornées.

Pour autant il faut aller dans le sens d’une mutualisation des travaux informatiques au service de l’administration publique. L’ADULLACT vise par exemple à soutenir et coordonner l’action des administrations et collectivités territoriales pour promouvoir l’utilisation du logiciel libre. Il n’est pas efficient d’utiliser de l’argent public à plusieurs reprises pour développer le même système.

La communication du code source au citoyen est un droit, celui d’expliciter l’implicite du traitement algorithmique. En ce sens il est pertinent de coder le « raisonnement » du juge. Pour des algorithmes privés, au-delà de connaître le code, ce qui est déterminant c’est de connaître les relations avec des tiers pour des sociétés privées dans leur modèle économique. Ce sont ces relations qui peuvent rendre le programme toxique et peuvent biaiser le traitement en faveur du modèle économique de l’opérateur. C’est en ce sens que le privé et le public doivent être considérés de la même manière en termes d’explicabilité.

Le règlement général sur la protection des données (RGPD) pose une borne légale à l’article 21 qui vient modifier l’ancien article 10 de la loi informatique et libertés. Désormais, on passe de « aucune décision […] ne peut avoir pour fondement un traitement automatisé » à « la personne concernée a droit de s’opposer », ce qui signifie que désormais toute personne doit pouvoir demander à voir son cas examiné par une personne humaine. Cette nouvelle disposition ne fait plus obstacle à la mise en place d’un traitement algorithmique plus efficace pour accorder un crédit. Simplement, les personnes non satisfaites de ce traitement pourront demander à ce que leur cas soit réexaminé par une personne humaine pour ramener de « l’humain » dans le dispositif. Ainsi le traitement algorithmique pourra couvrir plus efficacement la majeure partie des cas mais la partie résiduelle non satisfaite du traitement pourra toujours bénéficier d’un regard humain pour vérifier le cas d’espèce.

Le traitement algorithmique pour dépasser l’humain (Caroline Porot)

Il faut également souligner que le traitement algorithmique ne se limite pas à la décision individuelle. Il existe un champ extrêmement vaste qui est l’optimisation de la gestion d’opérations complexes par traitement algorithmique (par exemple la gestion des feux rouges en ville). Cela permet de réaliser des tâches inaccessibles à un traitement humain.

Par ailleurs, les humains sont également source de biais. Il serait intéressant de voir comment un traitement algorithmique pourrait attribuer des subventions ou allouer des logements HLM sur des critères peut être plus objectifs et impartiaux que des êtres humains. A tout le moins, ils seraient vérifiables. Il ne faut donc pas diaboliser le traitement algorithmique.

Remarque d’une participante

Le développement d’algorithmes publics dépend avant tout de la confiance que l’humain est prêt à accorder à ces outils. A l’ère du numérique, la confiance est devenu un actif indispensable. Un collectif de philosophes a récemment publié un ouvrage afin de prendre de la hauteur sur cet enjeu de la confiance. Une tendance actuelle est de répondre par la transparence, c’est par exemple le cas avec la blockchain qui promeut une transparence partagée et décentralisée. Il est nécessaire de prendre du recul sur cette question de la transparence dans le numérique.

L’algorithme n’est pas la seule réponse à apporter aux biais humains (François Pellegrini)

Une étude israélienne a mis en évidence que la décision d’un juge pour la remise en liberté conditionnelle dépend de l’heure et de ses repas. L’humain est pétri de biais et certaines personnes sont plus enclines à mettre en œuvre un traitement algorithmique indépendant de l’humain. Cela permet de mieux comprendre les motivations et les éléments qui ont présidé à la prise de décision. Cependant, le traitement algorithmique ne prendra jamais en compte le cas de force majeure et ne sera capable de gérer que 80% des situations particulières. Le traitement algorithmique pourrait donc porter préjudice au justiciable. Il ne s’agit donc pas d’évangéliser la nature humaine mais de rendre justice, en ce sens le traitement algorithmique n’a rien à voir avec la santé. L’algorithme n’est pas capable de disposer de ce petit « plus » de l’individu. Malgré tous les contrôles que l’on peut imposer à ces programmes, l’humain est nécessaire à la base et à tous les échelons. Pour des traitements tels que le contrôle de la naturalisation d’étrangers, il est possible que deux situations en apparence identiques conduisent à des résultats différents. Le regard humain permet d’intégrer des éléments qui ne sont pas objectifs, propres à notre humanité.

D’un autre côté, on constate que l’exigence d’explicabilité imposée aux algorithmes publics tend à s’étendre aux agents humains. Ces derniers doivent être en mesure d’expliquer toujours davantage leurs décisions individuelles. Ces évolutions pourront peut-être mener à l’émergence d’un nouveau type de contentieux pour les insuffisances liées à l’explication de la décision individuelle.

Permettre à l’humain de garder la main (Caroline Porot)

Les humains font preuve de biais et parfois de comportements malhonnêtes. Certaines attitudes relevant du favoritisme peuvent être évitées grâce au traitement algorithmique. D’un autre côté, nous sommes également capables d’une compréhension fine et instinctive qui permet d’aboutir à une bonne décision. La machine permet d’optimiser de nombreuses applications mais l’humain doit garder la possibilité de prendre la main.

Remarque d’un élève de l’ENA

Rendre obligatoire l’élaboration d’une fiche technique pour l’ensemble des algorithmes publics revient à assurer une évaluation pour des algorithmes aussi divers que pour la prévision de dépenses énergétiques. Or pour ce genre de programmes, des itérations sont réalisées très régulièrement et les jeux de données ne sont pas systématiquement conservés. D’un autre côté, certes l’open source est un idéal à atteindre mais pour certain projets particulièrement complexes avec du standard et du spécifique il semble difficile à mettre en œuvre. Cela représente des dépenses substantielles pour l’un et l’autre de l’ordre de un à plusieurs milliards.

Conclusion, des algorithmes publics comme miroir de la technocratie (Jean-Baptiste Pointel)

Le questionnement posé sur les algorithmes public et l’éthique de leur usage rejoint les critiques faites contre la technocratie. Elle est dénoncée comme intellectuelle, doctrinaire, irréaliste, parisienne, inhumaine, statistique, régente du pays, irresponsable et secrète pour préparer quelque mauvais coup afin de mettre en exécution ses plans et placer les citoyens devant le fait accompli. La question de l’algorithme rejoint cette critique de la technocratie, technique et experte. La technique est un ensemble d’outil et de manière visant à remplacer l’homme dans un certain nombre de taches. Or nous avons désormais créé des technocrates sans êtres humains.

C’est pour contrer cette peur que vient cette volonté de mettre en place une charte éthique. Les algorithmes déterministes sont révélateurs de biais et peuvent être vertueux car leur code est non ambigu, il permet de révéler l’implicite. Cela amène se reposer la question des procédures et des valeurs sous-jacentes que nous voulons défendre. Pour des applications comme l’attribution de logements sociaux ou de subventions, ils permettent de disposer d’un ensemble brut dont les biais de fonctionnement permettront de se positionner et d’agir à leur propos. La technologie dévoile cela et permet une transparence, elle ouvert la boîte noire du raisonnement des individus.

Une autre problématique est celle de l’algorithme auto-apprenant, aujourd’hui interdit en droit français après la décision du Conseil constitutionnel. En droit, une décision doit être justifiée par sa causalité et non pas par sa corrélation. Cependant, le fait de révéler des corrélations permet de compléter l’analyse humaine. Elle dissimule les motifs de la décision mais permet d’être plus précis dans chaque cas particulier.

Le problème que posent les algorithmes in fine est celui de la confiance. Il est intéressant d’observer que l’usage des algorithmes publics entraîne la peur là ou Facebook peut collecter et traiter des données sans trop de problème. La dichotomie public-privé est plus ambigüe comme le montre cette dialectique de la confiance. Or, nous sommes tous prêts à livrer nos données dès lors que nous avons confiance. La médecine relève de cette technocratie, le médecin est le sachant et nous sommes bien prêts à livrer des détails sur notre vie privée. S’intéresser à l’éthique médicale est en ce sens pertinent, car elle relève bien de l’éthique du sachant et de la technocratie.