AI x I = AI² : ajouter de l’Inclusion dans les algorithmes d’IA

Si les développeurs de systèmes d’IA espèrent éliminer les discriminations et développer l’inclusion dans leurs logiciels, ils doivent d’abord faire cela avec leur propre culture. Résumé du papier de Miller & Katz publié en 2018.

Qu’est-ce que l’IA apprend des humains ?

Qu’est-ce que la machine va apprendre et va apprendre aux autres machines si ce qu’elle apprend est basé sur l’histoire humaine, le contenu d’Internet, et les biais, peurs et hypothèses de ses développeurs ?

Les développeurs reçoivent rarement des formations pour identifier les biais, l’oppression, la discrimination dans les systèmes organisationnels et les données. Sans ces connaissances, ils ne peuvent pas se rendre compte des dangers inhérents à l’utilisation de données biaisées pour entrainer leurs algorithmes.

Les biais sont inévitables dans les données

Les biais sont encodés dès le langage, et les IA reprennent ces biais dans les techniques de NLP. On peut citer l’exemple de Google Translate mis en évidence par CALISKAN, BRYSON et NARAYANAN (2017) : en convertissant des phrases écrites en turc avec des pronoms neutres comme “O bir doctor. O bir hemşire.”, Google Translate propose “Il est docteur. Elle est infirmière.” Ceci a été observé avec plusieurs langues à pronoms neutres traduites dans plusieurs langues avec des pronoms genrés.

Les personnes qui créent les algorithmes appartiennent à une industrie dont la culture a des biais contre les femmes et les racisés, ne serait-ce que par leur sous-représentation. Sans aucun doute, la plupart des développeurs ne cherchent pas à intégrer des biais dans leur travail, mais il est difficile d’adresser un problème qu’on ne voit pas, et impossible d’éviter de faire des choses qu’on ne sait même pas qu’on fait. Les suppositions sexistes et racistes sont fortement ancrées dans la culture sociétale, et peut-être encore plus dans la culture de l’industrie technologique.

Les personnes qui créent les algorithmes appartiennent à une industrie dont la culture a des biais contre les femmes et les racisés, ne serait-ce que par leur sous-représentation.

Les ordinateurs apprennent les biais de la même façon que les personnes

Sans formation et vigilance, les développeurs d’IA et de modèles ne peuvent s’empêcher de perpétuer inconsciemment les biais dans leur travail.

Ajoutons à cela que toutes les données disponibles pour analyses, en incluant le langage lui-même, prend racine dans les perceptions humaines et interprétations, et il apparait clairement que les biais dans le machine learning sont inévitables.

Les préjugés entrainent des actions, qui à leur tour, produisent des données. Par exemple, on peut observer une tendance dans les pourcentages de femmes présentes aux comités de direction et au niveau du top management. Sans des instructions précises sur la manière de considérer des tendances comme des preuves de biais, les outils de machine learning sont susceptibles d’utiliser ces données pour prédire que les femmes manquent de certaines qualités de leadership.

Ne demandez pas, car on ne peut pas dire pourquoi

Parce qu’on imagine les machines comme étant justes et non biaisées, leurs prédictions, les recommandations qui en résultent et les décisions, sont moins susceptibles d’être remises en question comme biaisées que si elles provenaient d’agents humains.

Par ailleurs, les détails d’une prédiction individuelle sont opaques, même pour les développeurs de l’algorithme. Ceci est particulièrement vrai dans le cadre du deep learning. En d’autres mots, alors qu’on pourrait demander des comptes et justifier ce qui semble être des décisions biaisées, les machines ne peuvent pas fournir de telles explications, ni leurs créateurs.

Les entreprises qui proposent des services IA aux autres entreprises peuvent vendre la vitesse et les capacités de leurs processus, mais à moins de proposer de la transparence dans le développement des algorithmes et de la formation auprès de leurs employés, il n’y a aucun moyen pour leurs clients de savoir si le logiciel reposant sur de l’IA inclut des biais ou non. Les organisations qui travaillent à éliminer le sexisme et le racisme dans les interaction s et les systèmes doivent être conscientes du potentiel des IA d’institutionnaliser ces préjugés d’une façon qui est beaucoup plus difficile à détecter, challenger et changer.

Bias in, bias out : la culture tech résiste au changement

Si les biais existent dans la société, ils seront “appris” par les IA qui utilisent les comportements collectifs et les données de la société pour apprendre. Ce ne serait pas autant un problème si les développeurs écrivant les algorithmes de machine learning étaient plus au courant des biais qui existent dans la société et donc dans les data sets produits par cette société. Prendre conscience de ce problème permettrait aux développeurs d’intégrer des stratégies pour identifier les biais dans les données et mettre en place des garde-fous contre ces biais.

Il y a par ailleurs un problème de culture : des études ont montré que les femmes quittaient l’industrie tech 2 fois plus que les hommes, et que le pourcentage de femmes obtenant un diplôme en informatique était passé de 37% en 1984 à 18% en 2014.

Pas seulement un problème tech: l’IA étend sa présence

Sans une prise de conscience de l’existence inévitable de biais dans leurs systèmes IA, les entreprises prennent le risquent de prendre part dans de la discrimination envers leurs clients ou employés, ce qui peut avoir de terribles conséquences dans les deux cas. Cela pourrait déjà influencer les pratiques de recrutement, puisque l’IA est de plus en plus utilisée pour le sourcing de talent et l’acquisition. L’IA est en effet utilisée pour rendre le processus de sélection plus rapide et efficace, tout en retirant les biais humains. Mais parce que l’IA repose sur des données générées par les humains dans le passé, les biais ne seront que reproduits.

Les effets produits par les IA vont impacter toutes les facettes des organisations, depuis les décisions RH (qui employer ou promouvoir), au design et marketing de produits et services. Au lieu de négliger cet outil car estimé trop technique, les décideurs doivent voir l’IA comme un élément critique de l’organisation qui doit être analysé et adressé vis-à-vis de ses effets sur les discriminations.

Comment ajouter de l’inclusion dans les algorithme d’IA ? AI x I = AI²

Pour adresser la question des biais dans l’IA, il va être essentiel de faire évoluer la culture des développeurs ainsi que le code, afin d’être plus inclusif et alerte sur l’existence de biais.

Une stratégie pour changer la culture dans la tech et chez les développeurs.

Avant de pouvoir éliminer les biais et inégalités des algorithmes, les développeurs doivent d’abord avoir la compétence et la capacité à reconnaitre et adresser ces biais et inégalités. Ils doivent aussi se rendre compte que ces biais et inégalités sont réels, dangereux, et conséquents.

1. Éducation

Il va devenir vital d’aider les développeurs des IA à gagner en compétences dans la reconnaissance des biais qu’ils ont et qui sont présents également dans les données produites par la société. Bien que de nombreuses organisations mènent des campagnes d’éducation sur les biais inconscients, cela ne suffit pas à résoudre le problème. Cela doit aller au-delà de la prise de conscience individuelle, à l’examen approfondi des données qui peuvent être biaisées et donc à comment repenser le traitement de données, pour éviter de perpétuer des modèles de discrimination existant depuis trop longtemps. Éduquer en ce sens doit inclure l’exposition des membres de l’industrie tech à ses propres biais, ainsi qu’à l’existence des biais dans les données. Pour motiver le changement, cette éducation peut être complétée en insistant sur les bénéfices et retours sur investissement des pratiques inclusives, ainsi que le coût des procès en justice ou des désastres en terme d’image auprès du public.

2. Groupes de diffusion

Les personnes ne peuvent pas adopter une norme culturelle de comportements inclusifs tant qu’ils n’ont pas expérimentée cette norme. Pour cela, on peut mettre en place des groupes pilotes qui pratiquent ce modèle inclusif en le nourrissant de formations et de supports. Ces groupes pourront ensuite diffuser les pratiques dans l’organisation.

3. Certification

Un programme qui requiert et fournit une certification de compétences pour reconnaitre les biais et induire des comportements inclusifs semble être un outil pertinent pour l’industrie tech. On pourrait demander aux développeurs d’IA de passer des tests de compétence multiculturel ou d’assister à un programme de formations qui adresse les biais, la diversité, l’inclusion.

Une stratégie pour superviser la qualité du code et adresser les injustices

1. Revue par des comités d’experts

Pour protéger l’intégrité des organisations produisant le code, il doit y avoir un processus de revue du code (et des résultats) par un comité indépendant d’experts.

2. Il faut présumer que les IA produiront des inégalités inattendues et non souhaitées. Chaque organisation qui produit des IA pourrait mettre en place un conseil pour adresser les plaintes des consommateurs affectés par leurs produits, directement ou indirectement.

MILLER, Frederick A., KATZ, Judith H., et GANS, Roger. The OD imperative to add inclusion to the algorithms of artificial intelligence. OD PRACTITIONER, 2018, vol. 50, no 1, p. 8.