Algorithmes et IA : quid des risques de réplication et d’aggravation des biais sociaux ?
Texte présenté à IBM Sophia-Antipolis le 5 novembre 2019 dans le cadre des 20 ans du réseau #WoMenIBMFrance
I — Introduction
L’article de Tim Simonite dans Wired le 31 octobre « A Tech Group suggests limits for the Pentagone use of AI » peut constituer une base intéressante pour notre réflexion. Il fait part d’une prise de position du Defense Innovation Board sur les risques de dommages liés au recours à l’IA par le DoD. Une proposition de lignes directrices dans le domaine de l’éthique vient être faite par ce groupe de réflexions rattaché au DoD chargé d’apporter leur expertise technique au Pentagone. Sa crainte est que l’IA ne génère des engagements non contrôlés.
Cinq principes sont proposés par ce dernier :
· Des êtres humains doivent rester responsables pour le développement, l’usage et les résultats des systèmes IA utilisés par le DoD. Ce principe est lié à une doctrine utilisée dès 2012 pour les drones : celui du man in the loop.
· Des tests préalables de fiabilité et de robustesse doivent être mis en œuvre.
· Les développeurs doivent comprendre et documenter les systèmes.
· Des mesures doivent être prises pour détecter des dommages inattendus liés au fonctionnement des IA.
· Les systèmes doivent se désengager automatiquement en cas de détection d’une anomalie ou rendre possible leur désactivation par un humain.
Cet exemple lié à la Défense peut être aisément étendu à de nombreux autres problèmes d’ordres politiques économiques et sociaux. Il s’agit ici de s’attacher à la question des effets non attendus et non désirés des IA. Peuvent-ils survenir ? Comment les prévenir ? Comment, dans le cas inverse, les détecter et les corriger ?
II — Algorithmes et discriminations
De mêmes problématiques, liées aux effets non attendus du fonctionnement des algorithmes et du recours à l’IA, se retrouvent également en matière concurrentielle. C’est par exemple la question à laquelle s’attachent de travaux sur la collusion tacite algorithmique[1]. Pour autant, les domaines concurrentiels ne sont pas les seuls qu’il serait possible de mettre en exergue pour illustrer cette problématique générale. Les algorithmes peuvent répliquer, voire aggraver des biais sociaux, notamment en termes de discriminations que celles-ci soient sociales, d’origine ou de genre[2].
L’algorithme en général, et l’IA en particulier, n’ont pas de raisons de prendre des décisions biaisées en fonction de préjugés sociaux. Au contraire, la décision algorithmique a été souvent présentée comme devant épouser une logique à la Kahneman (2012), telle que celle présentée dans son ouvrage Système 1 / Système 2 : Les deux vitesses de la pensée (Thinking, Fast and Slow dans son titre original). Celui-ci distingue deux modes de pensée : le système 1 qui est rapide, instinctif mais également marqué par les émotions et les routines de pensées) et le système 2 (qui est plus réfléchi et plus logique mais qui est par voie de conséquence plus lent). L’algorithme, bien qu’exceptionnellement rapide, s’appuie sur le second et à ce titre est (ou devrait être) moins affecté par les biais humains. Cependant, de nombreuses observations tendent à montrer que le fonctionnement même des algorithmes peut donner lieu à une aggravation des biais.
Un second article récent de Wired peut également servir d’illustration pour ce risque. Il s’agit de l’article de Dave Gershgorn « Hospital Algorithms Are Biased Against Black Patients, New Research Shows”, mis en ligne le 24 octobre dernier et reposant sur une étude d’Obermeyer et al. (2019) publiée dans Science. Cet article reprend les conclusions d’un article à paraître dans Nature sur les effets inattendus du fonctionnement d’un algorithme utilise dans un hôpital de Boston. Ce travail visait à comprendre sur quelles bases se fondent les prédictions de l’algorithme qui conseille les praticiens sur les stratégies de soins à suivre.
Chaque patient est « affecté » d’un score en fonction de ses caractéristiques et de ses antécédents. Ceux qui ont le plus « investi » dans leur santé dans le passé se voient attribuer un score plus favorable. Or, plus on a payé pour des soins par le passé, plus le score est bon et donc plus les chances d’être traité en priorité sont fortes. Il en résulte un écart de 26% de chances entre patients blancs et noirs pour des caractéristiques comparables. Quelles sont les origines de ces biais ? Ils peuvent venir de l’accès à des couvertures assurantielles. Si la couverture moyenne est moindre pour les africains-américains, l’algorithme conclura qu’ils ont moins dépensé pour leur santé par le passé. Leur score sera donc illégitimement dégradé.
Des logiques proches avaient été relevées pour les IA utilisées dans le domaine de la justice. C’était le cas par exemple de la prédiction des risques de récidive, par exemple via l’algorithme COMPAS (Correctional offender management profiling alternative sanctions) qui avait tendance à répliquer et à aggraver les biais sociaux. Corbett-Davies et al. (2017) montrent que quand bien même des critères d’origine ne sont pas intégrés dans le logiciel, la probabilité qu’un détenu africain-américain soit considéré comme à fort risque de récidive par l’algorithme était le double de celle des autres. En d’autres termes, la discrimination peut procéder de corrélations fortes entre la caractéristique non explicitement prise en compte (ici la couleur de peau[3]) et d’autres attributs eux intégrés dans le code (Cyr et al., 2018).
III — Algorithmes et discriminations de genre
De mêmes risques de biais ont pu être investigués pour les inégalités femmes / hommes.
Le premier exemple est l’article de Simonite (2015) “Probing the Dark Side of Google’s Ad-Targeting System: Researchers say Google’s ad-targeting system sometimes makes troubling decisions based on data about gender and other personal characteristics” publié dans la MIT Technology Review. Il montre notamment que ce ne sont pas les mêmes annonces qui sont présentées aux hommes et aux femmes dans leurs recherches d’emplois : les premiers voient s’afficher des postes d’encadrement mieux rémunérés de façon plus fréquente (une à six fois).
Le second exemple est le document de travail de Cecere et al (2019) : “STEM and Teens: An Algorithmic Bias on a Social Media”. Les auteurs s’attachent aux biais sociaux qui peuvent procéder du fonctionnement des algorithmes et de leurs conséquences tant en termes d’équité que d’opportunités ouvertes ou fermées pour les femmes. Les auteurs mettent en œuvre une expérimentation sur un réseau social et essaient d’évaluer les biais sociaux qu’il est possible d’observer et de mettre en lumière leurs déterminants.
En l’espèce, ils cherchent à mettre en évidence des biais de genre dans la présentation de publicités en faveur des études d’ingénieurs que l’algorithme doit présenter à un public cible de lycéens. Si des campagnes spécifiques aux femmes sont mises en place, il y a moins de biais homme-femme que pour une campagne « neutre » mais cette publicité est moins présentée sur l’ensemble de la population (hommes et femmes cumulés).
Un tel biais peut également procéder des associations de mots propres aux données sur lesquelles sont entraînées les IA (Caliskan et al., 2017).
Ces risques peuvent avoir différentes origines.
Une première origine tient aux données utilisées, notamment en matière d’IA. Celles-ci peuvent refléter des biais sociaux préexistants. Si les femmes sont en proportion historiquement moins nombreuses à s’orienter vers les métiers de l’ingénierie, maximiser l’efficacité d’une campagne de recrutement pour des firmes du secteur technologique ou pour des écoles d’ingénieurs passe effectivement vers un ciblage allant vers des hommes. Comme le notent Turner-Lee et al. (2019), les algorithmes peuvent à terme créer des boucles de rétroaction auto-renforçantes ayant pour effet d’aggraver les biais sociaux.
Une deuxième origine peut venir d’un entraînement des algorithmes sur des échantillons de données incomplets et/ ou biaisés[4]. Ces biais peuvent tout à la fois procéder de disproportions manifestes dans les échantillons (qui reflètent la situation sociale passée et qui donc créent des biais d’endogénéité (Bertail et al., 2019) ou qui traduisent des biais de sélection) ou des annotations ajoutées aux données (Charpenet et Lequesne-Roth, 2019). Ces biais peuvent par exemple s’insérer dans les outils de gestion des ressources humaines, notamment en matière de recrutement, comme l’a récemment montré le cas d’Amazon (Dastin, 2018).
Une troisième origine peut procéder du codeur lui-même. Le codage peut exprimer certaines consciemment ou non certaines de ses valeurs (Kitchin, 2014). Comme le note O’Neil (2016), le codage mathématique ne peut être neutre en lui-même en ce qu’il est influencé par un cadre psychologique et sociologique dans lequel évolue(nt) le(s) codeurs.
Une quatrième origine peut tenir au fait que le code incorpore des paramètres susceptibles de jouer comme des proxies de biais sociaux. A l’instar des codes postaux qui peuvent fonctionner comme des reflets de discriminations sociales ou d’origine (Turner Lee et al, 2019).
IV- Mesures préventives et correctives
Que faire pour prévenir ces biais ? Un ensemble de mesures pourraient permettre de limiter ces risques. Premièrement, il convient d’analyser les données et les résultats de l’entraînement des IA afin notamment de corriger les éventuels biais dont les données pourraient être affectées (Barocas et Selbst, 2016). Deuxièmement, il est nécessaire d’identifier les paramètres qui peuvent jouer comme des proxies des biais[5]. Troisièmement, il est indispensable de tester les algorithmes ex ante afin d’apprécier les risques que les algorithmes ne produisent des résultats non désirés (Charpenet et Lequesne-Roth, 2019). Quatrièmement, il faut rendre les algorithmes redevables.
Les développeurs et les utilisateurs sont donc appelés à mettre en œuvre des bias impact assessments avant même l’utilisation des algorithmes pour évaluer si celle-ci peut « aggraver » la situation d’un groupe donné[6].
Il faut éviter les écueils de black-boxisation[7] (Pasquale, 2015) et requérir de la part des entreprises concernées une explicabilité des outcomes. Il s’agit en d’autres termes de responsabiliser les opérateurs. Pour reprendre la métaphore militaire utilisée en introduction, il est souhaitable que la règle demeure celle du man in the loop. A l’inverse, la règle du man on the loop qui correspond à un modèle de supervision des algorithmes (ex ante ou ex post) correspond à un degré d’exigence minimum. La situation qu’il s’agit de prévenir correspond à des logiques de déresponsabilisation de type man out the loop (sur ces questions voir notamment Rouvroy (2017)).
Il convient enfin de prendre en compte le fait que suivre l’algorithme peut conduire à un faux positif que l’on ne repèrera jamais. A l’inverse, en cas de faux négatif (i.e. si on ne suit pas la prédiction de l’algorithme) alors responsabilité engagée. Cette question qui a été notamment développée pour les algorithmes de prédiction de défauts de remboursement pour les crédits bancaires se pose avec une acuité particulière pour les algorithmes de prédiction de la récidive. Elle constitue un des enjeux centraux en matière de redevabilité dans les décisions algorithmiques.
V — Discussion
Ces différentes étapes font écho aux débats sur la transparence et / ou la redevabilité des algorithmes, notamment dès lors que ces derniers reposent sur l’IA. Il s’agit de concilier les gains d’efficacité que ces derniers promettent et apportent déjà avec des garanties apportées à l’ensemble des parties prenantes en termes d’éthique, d’équité et de respects des droits et valeurs fondamentaux.
Ces garanties ne peuvent être le fruit d’une seule réglementation ex ante. Elles doivent reposer sur un ensemble composé de lignes directrices, de procédures de co-régulation, de mécanismes de supervision par des régulateurs spécialisés et enfin une activation des règles de responsabilité pour les concepteurs et les utilisateurs des algorithmes si nécessaire. La FTC (2016) a elle-même introduit des lignes directrices allant dans le sens d’une telle responsabilisation et reposant également sur une telle logique de co-régulation.
Pour les concepteurs et les utilisateurs des roadmaps peuvent conduire à s’assurer à différentes étapes du processus du bon passage de transparency checkpoints. Tels que décrits par Boscoe (2019), ces derniers reprennent les points que nous avons détaillé supra[8].
1. Contrôle des données collectées et traitées en regard de possibles biais sociaux préexistants ou sous-jacents.
2. Nettoyage et mise en forme des données.
3. Choix de l’algorithme.
4. Conception du système (pour entraîner et tester l’algorithme).
5. Contrôle et évaluation des résultats.
Pour Turner-Lee et al., (2019), ces procédures — qui participent d’une autorégulation des développeurs et des utilisateurs, tiennent d’une algorithmic hygiene, devant les conduire à identifier en amont de possibles sources de biais et d’employer les meilleures pratiques disponibles pour détecter leur manifestation et y remédier.
Une partie de l’efficacité de la régulation vient de la bonne mise en œuvre de telles procédures par les concepteurs et les utilisateurs eux-mêmes qui sont ceux qui peuvent prévenir le plus efficacement les dommages sociaux et y mettre un terme les plus rapidement possible. Nous pouvons dès lors trouver un écho avec les schémas de régulation procédurale utilisés dans le domaine financier par lesquels le régulateur exige de l’entreprise l’intégration dans ses règles de contrôle interne des exigences de la régulation et peut sanctionner l’entreprise sur la base d’absence de ces règles ou de défaut dans leur application.
Notons enfin, que les algorithmes peuvent être conçus pour corriger des biais. C’est la notion de fair decision algorithms qui repose sur des (pré)modifications des résultats des algorithmes pour tenir compte des biais sociaux en différenciant les seuils ou encore en introduisant des contraintes sur les résultats (Corbett-Davies et al., 2017). Traiter de la sorte les algorithmes peut conduire à accepter des arbitrages entre efficacité et équité[9].
Références
Barocas S. and Selbst A., (2016), “Big Data’s Disparate Impact”, California Law Review, volume 104, p.671 et s.
Bertail P., Bounie D., Clémençon S. et Waelbrock P., (2019), « Algorithmes, biais et discrimination », Document de travail Telecom Paris Tech, février. https://www.telecom-paris.fr/wp-content-EvDsK19/uploads/2019/02/Algorithmes-Biais-discrimination-equite.pdf
Boscoe B., (2019), “Creating Transparency in Algorithmic Processes”, Delphi, 2019–1, pp.12–22.
Caliskan A, Bryson J. and Narayanan A., (2017), “Semantics derived automatically from language corpora contain human-like biases”, Science, volume 356, issue 6334, pp.183–186.
Cecere G., Jean C., Le Guel F. and Manant M., (2019), “STEM and Teens: An Algorithmic Bias on a Social Media”, https://ssrn.com/abstract=3176168.
Charpenet J. et Lequesne-Roth C., (2019), « Discrimination et biais genrés : les lacunes juridiques de l’audit algorithmique », Recueil Dalloz, p.1852 et s.
Chouldechova A., Benavides-Prato D., Fialko A. and Vaithianathan R., (2018), “A case study of algorithm-assisted decision making in child maltreatment hotline screening decisions”, Proceedings of Machine Learning Research, volume 81, pp.1–15.
Combe E., (2019), Vers des prix personnalisés à l’ère du numérique ?, Fondation pour l’innovation politique, octobre.
Commission européenne, (2019), Lignes directrices en matière d’éthique pour une IA digne de confiance, Rapport du Groupe d’experts indépendants de la Commission européenne pour l’IA, Bruxelles, avril.
Corbett-Davies S., Pierson E., Feller A., Goel S and Huq A., (2017), ‘Algorithmic Decision Making and the Cost of Fairness”, ArXiv:1701.08230.
Cyr H., Gambs S. et Meurs M.-J., (2018), « Pour un développement plus égalitaire de l’IA », Options Politiques, Institut de Recherche en Politiques Publiques (IRPP), janvier.
Dastin J., (2018), “Amazon scraps secretAI recruiting tool that showed bias against women”, Reuters, October, 10.
Federal Trade Commission, (2016), Big Data. A Tool for Inclusion or Exclusion?, January.
Kahneman D., (2012), Système 1 / Système 2 : Les deux vitesses de la pensée, Flammarion.
Kitchin R., (2014), The Data Revolution: Big Data, Open Data, Data Infrastructure and their Consequences, Sage London.
Marty F., (2017), « Algorithmes de prix, intelligence artificielle et équilibres collusifs », Revue Internationale de Droit Economique, 2017–2, tome XXXI, pp.83–116.
Marty F., (2019), « Plateformes numériques, algorithmes et discrimination », Revue de l’OFCE, n°164, avril.
O’Neil C., (2016), Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy, Crown.
Obermeyer Z., Powers B., Vogeli C. and Mullainathan S., (2019), “Dissecting racial bias in an algorithm used to manage the health of populations”, Science, volume 366, issue 6464, pp.447–453.
Pasquale F., (2015), The Black Box Society: The Secret Algorithms that Control Money and Information, Harvard University Press, 320p.
Reisman D., Schultz J., Crawford K. and Whittaker M., (2018), “Algorithmic Impact Assessments: A Practical Framework for Public Agency Accountability”, AI Now, New York University, April.
Rouvroy A., (2017), « Homo juridicus est-il soluble dans les données ? », Document de travail Université de Namur, Research Center on IT and Law (CRID), novembre.
Simonite T., (2015), “Probing the Dark Side of Google’s Ad-Targeting System”, MIT Technology Review, July.
Turner-Lee N., (2018), “Detecting racial bias in algorithms and machine learning”, Journal of Information, Communication and Ethics in Society, 16(3), pp.252–260.
Turner Lee N., Resnick P. and Barton G., (2019), “Algorithmic bias detection and mitigation: Best practices and policies to reduce consumer harms”, Brookings, May.
[1] Notons que les algorithmes peuvent eux-mêmes être programmés pour exploiter des discriminations potentielles, voire pour en créer. C’est par exemple le cas des algorithmes de prix qui peuvent conduire à développer des stratégies de discrimination tarifaire ou encore des algorithmes de recommandation qui peuvent conduire à différencier les produits en fonction de l’expertise attendue des consommateurs, ce dernier exemple correspondant à des stratégies de versioning (Marty, 2019 ; Combe, 2019).
[2] Par biais, il est possible d’entendre à la fois des différences de traitements entre personnes étant — ou devant être — dans la même situation et des différences d’impacts liés à la mise en œuvre des algorithmes (on parle alors de discrimination secondaire). Ces différences d’impacts peuvent se traduire par des différences en termes d’outcomes (par exemple en termes d’accès au crédit) ou par des différences en termes de probabilité d’erreur. Ces différences ne sont pas intentionnelles mais peuvent pérenniser et aggraver les biais sociaux.
[3] De mêmes phénomènes ont également pu être observés pour les algorithmes utilisés en matière de protection des enfants contre la maltraitance (Chouldekova et al., 2018). Le calage des algorithmes à partir de données gouvernementales conduit à attribuer des scores très défavorables à certains types de familles.
[4] Cet effet a été notamment mis en exergue pour l’entraînement des IA en matière de reconnaissance faciale (Turner-Lee, 2018). Dans d’autres domaines, tels l’économie de la concurrence, ce phénomène est également possible dans les phénomènes de collusion tacite que nous avons évoqués supra si les marchés concernés étaient déjà caractérisés par des tendances collusives. Plus le pattern initial du marché est collusif, plus vite les différents algorithmes identifieront une stratégie coopérative (Marty, 2017).
[5] Les algorithmes de justice prédictive qui reposent sur des critères tels les nombres de contrôles ou d’arrestations peuvent donner lieu à ce genre de biais dès lors que la probabilité d’être contrôlé n’est pas la même selon les catégories de population (Corbett-Davies et al., 2017).
[6] Notons que le New York University’s AI Now Institute a développé de telles méthodes d’Algorithmic Impact Assessment (AIA) en d’autres termes d’études d’impact algorithmique (Reisman et al., 2018).
[7] Le phénomène de boîte noire peut à la fois procéder de la complexité intrinsèque du code et de stratégies volontaires d’opacification.
[8] Ils font également écho aux recommandations formulées en avril 2019 par le Groupe d’experts indépendants de la Commission européenne sur l’IA dans son rapport pour une IA digne de confiance (Commission européenne, 2019)
[9] La situation est in fine comparable à celle relevée dans le domaine de l’économie de la concurrence pour les algorithmes de prix. Imposer des contraintes en termes de capacité de personnalisation des offres ou des prix ou encore d’ajustement automatique des prix à ceux des concurrents, permet certes de réduire les risques de discrimination anticoncurrentielle ou de collusion mais conduit dans le même temps à dégrader la performance des algorithmes au détriment du consommateur. Eclairer ces arbitrages et permettre aux firmes d’identifier elles-mêmes les impacts négatifs et d’y remédier peut passer par le recours à des techniques de régulations dites du bac à sable réglementaire, introduite par la loi pour une République numérique de 2016.
