L’invention de l’IA éthique

Comment les grandes technologies manipulent les universités pour éviter la réglementation

Rodrigo Ochigame

20 décembre 2019, 19h19

L’IRONIE DU scandale éthique qui entoure Joichi Ito, l’ancien directeur du MIT Media Lab, est qu’il dirigeait des initiatives universitaires sur l’éthique.

Après la révélation de ses liens financiers avec Jeffrey Epstein, le financier accusé de trafic sexuel de filles mineures dès l’âge de 14 ans, Ito a démissionné de plusieurs rôles au MIT, professeur invité à la Harvard Law School et des conseils d’administration de la fondation John D. & Catherine. T. MacArthur, la fondation John S. & James L. Knight et New York Times Company.

De nombreux spectateurs sont déconcertés par le rôle influent d’Ito en tant qu’éthicien de l’intelligence artificielle. En effet, ses initiatives ont été cruciales pour établir le discours de «l’IA éthique» qui est désormais omniprésente dans le monde universitaire et dans la presse grand public. En 2016, le président de l’époque, Barack Obama, l’a décrit comme un « expert » de l’IA et de l’éthique. Depuis 2017, Ito a financé de nombreux projets grâce au fonds de 27 millions de dollars pour l’éthique et la gouvernance de l’IA , une initiative ancrée par le MIT Media Lab et le Berkman Klein Center for Internet and Society de l’Université Harvard. De quoi parlait vraiment tout le discours sur «l’éthique»?

Pendant 14 mois, j’ai travaillé en tant qu’étudiant chercheur diplômé dans le groupe Ito sur l’éthique de l’IA au Media Lab. Je me suis arrêté le 15 août, immédiatement après qu’Ito eut publié ses premières «excuses» concernant ses liens avec Epstein, dans lesquelles il reconnaissait avoir accepté de l’argent du financier à la fois pour le Media Lab et pour les fonds de capital-risque extérieurs d’Ito. Ito n’a pas révélé qu’Epstein avait, au moment où cet argent a changé de mains, déjà plaidé coupable d’une accusation de prostitution enfantine en Floride, ou qu’Ito avait pris de nombreuses mesures pour cacher le nom d’Epstein des registres officiels, comme le New Yorker l’a révélé plus tard.

Le discours de «l’IA éthique» était stratégiquement aligné sur un effort de la Silicon Valley cherchant à éviter les restrictions juridiquement exécutoires de technologies controversées.

Inspiré par la lanceuse d’alerte Signe Swenson et d’autres qui se sont exprimés, j’ai décidé de rapporter ce que j’ai appris concernant le rôle d’Ito dans le façonnement du domaine de l’éthique de l’IA, car c’est une question d’intérêt public. L’émergence de ce domaine est un phénomène récent, dans la mesure où les anciens chercheurs en IA n’étaient guère intéressés par l’étude de l’éthique.

Un ancien collègue de Media Lab se souvient que Marvin Minsky, le pionnier décédé de l’IA au MIT, avait l’habitude de dire qu’«un éthicien est quelqu’un qui a un problème avec tout ce que vous avez en tête». (Dans des documents judiciaires récemment non scellés, la victime Virginia Roberts Giuffre a déclaré qu’Epstein lui avait ordonné d’avoir des relations sexuelles avec Minsky).

Pourquoi, alors, les chercheurs en IA ont-ils soudainement commencé à parler d’éthique?

Au Media Lab, j’ai appris que le discours de «l’IA éthique», largement défendu par Ito, était stratégiquement aligné sur un effort de la Silicon Valley cherchant à éviter les restrictions légalement exécutoires des technologies controversées. Un groupe clé derrière cet effort, avec le laboratoire en tant que membre, a formulé des recommandations politiques en Californie qui contredisaient les conclusions de la recherche que j’ai menée avec plusieurs collègues du laboratoire, une recherche qui nous a conduit à nous opposer à l’essai d’utilisation d’algorithmes informatiques pour décider s’il faut emprisonner des personnes en attente. Ito lui-même finirait par se plaindre, lors de réunions privées avec des dirigeants financiers et technologiques, que les recommandations du groupe revenaient à «blanchir» une question éthique épineuse. «Ils diluent ce que nous essayons de dire pour empêcher l’utilisation d’algorithmes qui ne semblent pas bien fonctionner» dans les décisions de détention, confia-t-il à un millionaire.

J’ai également regardé le MIT aider l’armée américaine à écarter les complexités morales de la guerre des drones, en organisant une conférence superficielle sur l’IA et l’éthique par Henry Kissinger, l’ancien secrétaire d’État et criminel de guerre notoire, et en donnant des commentaires sur «l’IA Principes d’éthique» pour la guerre, qui englobaient des algorithmes « biaisés de manière permissible» et qui évitaient d’utiliser le mot« équité » parce que le Pentagone estime «que les combats ne devraient pas être équitables».

Ito n’a pas répondu aux demandes de commentaires.

Joichi Ito, alors directeur du MIT Media Lab, prend la parole lors d’une conférence de presse à Tokyo le 8 juillet 2016. Crédit photo: Akio Kon / Bloomberg / Getty Images

Le MIT A DONNÉ DE LA CRÉDIBILITÉ à l’idée que la grande technologie pourrait contrôler sa propre utilisation de l’intelligence artificielle à un moment où le secteur était de plus en plus critiqué et appelait à une réglementation légale. Rien qu’en 2018, il y a eu plusieurs controverses: la violation par Facebook de données privées sur plus de 50 millions d’utilisateurs à une entreprise de marketing politique engagée par la campagne présidentielle de Donald Trump, révélée en mars 2018; Le contrat de Google avec le Pentagone pour un logiciel de vision par ordinateur à utiliser dans les zones de combat, a été révélé le même mois; La vente par Amazon de la technologie de reconnaissance faciale aux services de police, révélée en mai; Le contrat de Microsoft avec la US Immigration and Customs Enforcement a été révélé en juin; et la collaboration secrète d’IBM avec le département de police de New York pour la reconnaissance faciale et la classification raciale dans les images de vidéosurveillance, révélée en septembre. Sous le slogan #TechWontBuildIt, des milliers de travailleurs de ces entreprises ont organisé des manifestations et fait circuler des pétitions contre de tels contrats. De #NoTechForICE à #Data4BlackLives, plusieurs campagnes populaires ont exigé des restrictions légales de certaines utilisations des technologies informatiques (par exemple, interdire l’utilisation de la reconnaissance faciale par la police).

Pendant ce temps, les entreprises ont tenté de déplacer la discussion pour se concentrer sur les «principes éthiques» volontaires, les «pratiques responsables» et les ajustements techniques ou les «mesures de sauvegarde» formulés en termes de «partialité» et «d’équité» (par exemple, exiger ou encourager la police à faire de la Reconnaissance faciale «impartiale» ou «juste»). En janvier 2018, Microsoft a publié ses «principes éthiques» pour l’IA, en commençant par «l’équité». En mai, Facebook a annoncé son «engagement en faveur du développement et du déploiement éthiques de l’IA» et d’un outil de «recherche de biais» appelé «Fairness Flow». En juin, Google a publié ses «pratiques responsables» pour la recherche et le développement en IA. En septembre, IBM a annoncé un outil appelé «AI Fairness 360», conçu pour «vérifier les biais indésirables dans les ensembles de données et les modèles d’apprentissage automatique». En janvier 2019, Facebook a accordé 7 $. 5 millions pour la création d’un centre d’éthique de l’IA à Munich, en Allemagne. En mars, Amazon a coparrainé un programme de 20 millions de dollars sur «l’équité dans l’IA» avec la National Science Foundation des États-Unis. En avril, Google a annulé son conseil d’éthique de l’IA par suite de réactions internes, à la sélection de Kay Coles James, le président anti-trans de la fondation Heritage, orientée à droite. Ces initiatives d’entreprise citaient fréquemment des recherches universitaires qu’Ito avait soutenues, au moins partiellement, par le biais du fonds MIT-Harvard.

Pour caractériser l’agenda de l’entreprise, il est utile de faire la distinction entre trois types de possibilités réglementaires pour une technologie donnée:

  • (1) aucune réglementation légale, laissant les «principes éthiques» et les «pratiques responsables» comme purement volontaires;
  • (2) une réglementation légale modérée encourageant ou exigeant des ajustements techniques qui n’entrent pas en conflit significatif avec les bénéfices;
  • ou (3) une réglementation légale restrictive limitant ou interdisant le déploiement de la technologie.

Sans surprise, l’industrie de la technologie a tendance à soutenir les deux premiers et à s’opposer au dernier. Le discours d’entreprise sur «l’IA éthique» permet justement cette position. Prenons le cas de la reconnaissance faciale. Cette année, les assemblées législatives municipales de San Francisco, Oakland et Berkeley (en Californie), ainsi que Somerville (Massachusetts), ont adopté des interdictions strictes sur la technologie de reconnaissance faciale. Pendant ce temps, Microsoft a fait pression en faveur d’une législation moins restrictive, exigeant des ajustements techniques tels que des tests de «biais», notamment dans l’État de Washington. Certaines grandes entreprises peuvent même préférer ce type de réglementation légale modérée à son absence totale, car les grandes entreprises peuvent plus facilement investir dans des équipes spécialisées pour développer des systèmes conformes aux exigences réglementaires.

Ainsi, la promotion vigoureuse de «l’IA éthique» par la Silicon Valley a constitué un effort de lobbying stratégique, qui a enrôlé le monde universitaire pour se légitimer. Ito a joué un rôle clé dans cette fraternisation entreprise-académique, rencontrant régulièrement des responsables technologiques. Le directeur initial du fonds MIT-Harvard était l’ancien «responsable des politiques publiques mondiales» pour l’IA chez Google. Via ce fonds, Ito et ses associés ont parrainé de nombreux projets, notamment la création d’une importante conférence sur «l’équité, la responsabilité et la transparence» en informatique; Parmi les autres sponsors de la conférence figuraient Google, Facebook et Microsoft.

Bien que l’effort de lobbying de la Silicon Valley ait consolidé l’intérêt des universitaires pour «l’IA éthique» et les «algorithmes équitables» depuis 2016, une poignée d’articles sur ces sujets avaient paru au cours des années précédentes, même s’ils étaient encadrés différemment. Par exemple, les informaticiens de Microsoft ont publié l’ article qui a sans doute inauguré le champ de «l’équité algorithmique» en 2012. En 2016, l’auteur principal de l’article, Cynthia Dwork, est devenue professeur d’informatique à Harvard, avec des postes simultanés dans sa faculté de droit et chez Microsoft. Lorsque j’ai suivi son cours de Harvard sur les fondements mathématiques de la cryptographie et des statistiques en 2017, je l’ai interviewée et lui ai demandé comment elle s’était intéressée à la recherche de définitions algorithmiques de l’équité. Dans son récit, elle était depuis longtemps personnellement préoccupée par la question de la publicité discriminatoire, mais les responsables de Microsoft l’ont encouragée à poursuivre dans ce domaine car l’entreprise développait un nouveau système de publicité en ligne, et il serait économiquement avantageux de fournir un service “sans problèmes de réglementation”. Pour être juste, je crois que les intentions personnelles de Dwork étaient honnêtes malgré la capture d’entreprise de ses idées. Microsoft a refusé de commenter cet article.

Après les premières étapes du MIT et de Harvard, de nombreuses autres universités et nouveaux instituts ont reçu de l’argent de l’industrie de la technologie pour travailler sur l’éthique de l’IA. La plupart de ces organisations sont également dirigées par des cadres actuels ou anciens d’entreprises de technologie. Par exemple, le Data & Society Research Institute est dirigé par un chercheur de Microsoft et initialement financé par une subvention Microsoft; L’Institut AI Now de l’Université de New York a été cofondé par un autre chercheur de Microsoft et financé en partie par Microsoft, Google et DeepMind; le Stanford Institute for Human-Centered AI est codirigé par un ancien vice-président de Google; La Berkeley’s Division of Data Science de l’Université de Californie est dirigée par un vétéran de Microsoft; et le MIT Schwarzman College of Computing est dirigé par un membre du conseil d’administration d’Amazon. Pendant mon temps au Media Lab, Ito a maintenu des contacts fréquents avec les cadres et les planificateurs de toutes ces organisations.

Illustration: Yoshi Sodeoka pour The Intercept

Big Tech Money, leurs gouvernances se sont avérés incompatibles avec une exploration honnête de l’éthique, du moins à en juger par mon expérience avec le «Partnership on AI au profit des personnes et de la société», un groupe fondé par Microsoft, Google/DeepMind, Facebook, IBM et Amazon en 2016. PAI, dont le Media Lab est membre, se définit comme un «organisme multipartite» et prétend qu’il n’est «pas une organisation de lobbying». Lors d’une audition en avril 2018 au US House Committee on Oversight and Government Reform, le directeur général du Partenariat a affirmé que l’organisation est simplement une ressource pour les décideurs politiques — par exemple, en menant des recherches qui éclairent les meilleures pratiques en matière d’IA et en explorant les conséquences sociétales de certains systèmes d’IA, ainsi que les politiques relatives au développement et à l’utilisation des systèmes d’IA».

Mais même si les activités du partenariat peuvent ne pas atteindre le seuil légal exigeant l’enregistrement en tant que lobbyistes — par exemple, en cherchant à affecter directement les votes des élus individuels — le partenariat a certainement cherché à influencer la législation. Par exemple, en novembre 2018, le personnel du Partenariat a demandé aux universitaires de contribuer à une déclaration collective au Conseil de la magistrature de Californie concernant un projet de loi du Sénat sur la réforme pénale (SB 10). Le projet de loi, dans le cadre de l’élimination de la caution en espèces, a élargi l’utilisation de l’évaluation algorithmique des risques dans la prise de décision avant le procès et a obligé le Conseil de la magistrature à «se pencher sur l’identification et l’atténuation de tout biais implicite dans les instruments d’évaluation». Le personnel du Partenariat a écrit: “nous pensons qu’il est possible d’avoir un impact sur cette législation (et sur les applications du CJS [Criminal Justice System: système de justice pénale] de manière plus générale)”.

En décembre 2018, trois collègues du Media Lab et moi avons soulevé de sérieuses objections aux efforts du Partenariat pour influencer la législation. Nous avons observé que les recommandations politiques du Partenariat s’alignaient de manière cohérente avec le programme de l’entreprise. Dans le cas pénal, nos recherches nous ont conduits à nous opposer fermement à l’adoption d’outils d’évaluation des risques et à rejeter les ajustements techniques proposés qui les rendraient soi-disant «impartiaux» ou «équitables». Mais le projet de déclaration du Partenariat semblait, comme un collègue l’a indiqué dans un courriel interne à Ito et à d’autres, «valider l’utilisation de la RA [Risk Assessment: évaluation des risques] en mettant l’accent sur le problème en tant que problème technique qui peut donc être résolu avec de meilleurs ensembles de données, etc”. Un deuxième collègue a convenu que «la déclaration PAI est faible et risque de faire exactement ce que nous avons mis en garde: un risque de régulation manipulée par l’industrie». Un troisième collègue a écrit: «En ce qui concerne le travail de la justice pénale, ce que PAI fait dans ce domaine est assez alarmant et aussi à mon avis gravement erroné. Je suis d’accord avec Rodrigo que l’association de PAI avec l’ACLU, le MIT et d’autres institutions universitaires/à but non lucratif finit pratiquement par remplir une fonction de légitimation. Ni l’ACLU, ni le MIT, ni aucune organisation à but non lucratif n’a de pouvoir dans PAI. »

Pire encore, il semblait y avoir un décalage entre les recommandations du Partenariat et les efforts d’une coalition d’organisations de base luttant contre l’expansion des prisons, notamment le mouvement Black Lives Matter, le groupe abolitionniste des prisons Critical Resistance (où j’ai fait du bénévolat), et la Coalition des jeunes immigrés dirigée par des jeunes sans-papiers et queer/trans. La coalition de base a fait valoir que “la notion selon laquelle tout instrument d’évaluation des risques peut tenir compte des préjugés ignore les disparités raciales dans les pratiques policières actuelles et passées.” De nombreuses raisons théoriques et empiriques viennent étayer cette affirmation, puisque les évaluations des risques sont généralement fondées sur des données relatives aux arrestations, aux condamnations ou aux incarcérations, qui sont toutes de mauvais indicateurs des comportements ou des prédispositions individuels. La coalition poursuit : “En fin de compte, les outils d’évaluation des risques créent une boucle de rétroaction de profilage racial, de détention provisoire et de condamnation. La liberté d’une personne ne devrait pas être réduite à un algorithme”. En revanche, la déclaration du Partenariat se concentre sur les “exigences minimales pour un déploiement responsable”, couvrant des sujets tels que “la validité et le biais d’échantillonnage des données, le biais dans les prédictions statistiques ; le choix des cibles appropriées pour la prédiction ; les questions d’interaction homme-machine ; la formation des utilisateurs ; la politique et la gouvernance ; la transparence et la révision ; la reproductibilité, le processus et la tenue des dossiers ; et l’évaluation post-déploiement”.

Certes, le personnel du Partenariat a répondu aux critiques du projet en notant dans la version finale de la déclaration que «parmi les membres de PAI et la communauté de l’IA au sens large, de nombreux experts suggèrent en outre que des individus ne peuvent jamais être détenus à juste titre sur la base de leur score d’évaluation des risques seul, sans audition individualisée. » Cette concession douce — admettre qu’il n’est peut-être pas temps de commencer à emprisonner des personnes uniquement sur la base d’un logiciel, sans la contribution d’un juge ou de toute autre procédure judiciaire «individualisée» — était plus facile à faire car aucune des grandes entreprises du Partenariat ne vendait d’évaluation des risques outils de prise de décision avant le procès; non seulement la technologie est trop controversée, mais aussi le marché est trop petit. (La technologie de reconnaissance faciale, en revanche, a un marché beaucoup plus large dans lequel Microsoft, Google, Facebook, IBM et Amazon opèrent tous).

En décembre 2018, mes collègues et moi avons exhorté Ito à quitter le Partenariat. J’ai soutenu: «Si les organisations universitaires et à but non lucratif veulent faire une différence, la seule stratégie viable est de quitter PAI, de faire une déclaration publique et de former une contre-alliance. Puis un collègue a proposé: «Il existe de nombreuses autres organisations qui font un travail beaucoup plus substantiel et transformateur dans ce domaine de l’analyse prédictive de la justice pénale — à quoi cela ressemblerait-il de prendre l’argent que nous allouons actuellement pour soutenir PAI afin de soutenir leur travail?” Nous pensions qu’Ito avait suffisamment d’autonomie pour le faire parce que le fonds MIT-Harvard était largement soutenu par la Knight Foundation, même si la majeure partie de l’argent provenait d’investisseurs technologiques Pierre Omidyar, fondateur d’eBay, via le réseau Omidyar, et Reid Hoffman, co -Fondateur de LinkedIn et membre du conseil d’administration de Microsoft. J’ai écrit, «Si des dizaines de millions de dollars provenant de fondations à but non lucratif et de donateurs individuels ne sont pas suffisants pour nous permettre de prendre une position audacieuse et de rejoindre le bon côté, je ne sais pas ce qu’il faudrait». (Omidyar finance The Intercept.)

Il est étrange qu’Ito, sans formation formelle, se soit positionné comme un «expert» en éthique de l’IA, un domaine qui existait à peine avant 2017.

Ito a reconnu le problème. Il venait de recevoir un message de David M. Siegel, coprésident du hedge fund Two Sigma et membre du MIT Corporation. Siegel a proposé une structure d’autorégulation pour les entreprises de «recherche et de médias sociaux» dans la Silicon Valley, sur le modèle de la Financial Industry Regulatory Authority, ou FINRA, une société privée qui sert d’organisme d’autorégulation pour les sociétés de valeurs mobilières de Wall Street. Ito a répondu à la proposition de Siegel: «Je ne pense pas que la société civile soit bien représentée dans les groupes industriels. Nous avons participé à Partnership in AI et ils diluent les choses que nous essayons de dire pour empêcher l’utilisation d’algorithmes qui ne semblent pas bien fonctionner, comme les scores de risque pour la mise en liberté sous caution. Je pense qu’avec les données personnelles et les médias sociaux, je suis préoccupé par l’autorégulation. Par example, un génocide à part entière des Rohingya, un groupe minoritaire essentiellement musulman au Myanmar s’est produit en utilisant WhatsApp et Facebook savait que cela se produisait». (Facebook a admis que sa plate-forme était utilisée pour inciter à la violence au Myanmar; Des rapports de presse ont documenté comment le contenu de la plateforme Facebook a facilité un génocide dans le pays malgré les avertissements répétés adressés aux dirigeants de Facebook par des militants des droits humains et des chercheurs. Le service de SMS de Facebook WhatsApp a rendu plus difficile pour ses utilisateurs de transmettre des messages après que WhatsApp aurait été utilisé pour répandre des informations erronées pendant les élections en Inde.)

Mais les alliances entre entreprises et universités étaient trop solides et pratiques. Le Media Lab est resté dans le Partenariat et Ito a continué à fraterniser avec les dirigeants et les investisseurs de la Silicon Valley et de Wall Street. Ito a décrit Siegel, un milliardaire, comme un «bailleur de fonds potentiel». Avec de telles personnes, j’ai vu Ito exprimer régulièrement des préoccupations morales au sujet de leurs entreprises — mais de manière amicale, car il leur demandait simultanément de l’argent, que ce soit pour le MIT ou ses propres fonds de capital-risque. Pour les «éthiciens» des entreprises et des universitaires, la critique à l’amiable peut servir de levier pour nouer des relations d’affaires. Siegel a répondu à Ito: «Je serais ravi de parler davantage de ce sujet avec vous. Finra n’est pas un groupe industriel. C’est juste financé par l’industrie. J’expliquerai plus quand nous nous rencontrerons. Je suis d’accord avec vos préoccupations. »

Lors de réunions privées, Ito et les dirigeants de la technologie ont discuté très franchement du lobby de l’entreprise. En janvier, mes collègues et moi avons participé à une réunion avec Mustafa Suleyman, co-président fondateur du partenariat et co-fondateur de DeepMind, une start-up d’IA acquise par Google pour environ 500 millions de dollars en 2014. Lors de la réunion, Ito et Suleyman ont discuté de la manière dont la promotion de «l’éthique de l’IA» était devenue un outil de «blanchiment», bien qu’ils aient affirmé que leurs intentions initiales étaient plus nobles. Dans un message pour planifier la réunion, Ito a écrit à mes collègues et à moi: «Je sais, cependant, après avoir parlé à Mustafa lors de la mise en place de PAI, qu’il voulait que le groupe soit beaucoup plus substantiel et pas seulement du ‘blanchiment’. Je pense que c’est juste la trajectoire que ces choses prennent.» (Suleyman n’a pas répondu aux demandes de commentaires.)

INDIFFÉRENT DE L’INDIVIDU les intentions des acteurs, les efforts du lobby des entreprises pour façonner la recherche universitaire ont été extrêmement fructueux. Il y a maintenant énormément de travail sous la rubrique «éthique de l’IA». Pour être honnête, certaines recherches sont utiles et nuancées, en particulier dans les sciences humaines et sociales. Mais la majorité des travaux bien financés sur «l’IA éthique» sont alignés sur l’agenda du lobby technologique: ajuster volontairement ou modérément, plutôt que de restreindre légalement, le déploiement de technologies controversées. Comment cinq entreprises, n’utilisant qu’une petite partie de leur budget, ont-elles réussi à influencer et encadrer autant d’activités académiques, dans tant de disciplines, si rapidement? Il est étrange qu’Ito, sans formation formelle, se soit positionné comme un «expert» en éthique de l’IA, un domaine qui existait à peine avant 2017. Mais il est encore plus étrange que deux ans plus tard, des universitaires respectés dans des disciplines établies doivent démontrer leur pertinence dans un domaine imaginé par un lobby d’entreprise.

L’ancien PDG de Google, Eric Schmidt, maintenant président du Conseil de l’innovation de la défense du ministère de la Défense, prend son siège pour l’audition du Comité des services armés de la Chambre sur «Promouvoir la culture de l’innovation du DOD» le 17 avril 2018. Photo: Bill Clark / Appel nominal CQ / Getty Images

Le domaine est également devenu pertinent pour l’armée américaine, non seulement dans les réponses officielles aux préoccupations morales concernant les technologies de meurtre ciblé, mais aussi dans les différends entre les entreprises de la Silicon Valley au sujet de contrats militaires lucratifs. Le 1er novembre, le comité d’innovation du ministère de la Défense a publié ses recommandations sur les «principes d’éthique de l’IA». Le conseil est présidé par Eric Schmidt, qui était le président exécutif d’Alphabet, la société mère de Google, lorsque le secrétaire à la Défense d’Obama, Ashton B. Carter, a créé le conseil et l’a nommé en 2016. Selon ProPublica, «L’influence de Schmidt, déjà forte sous Carter, n’a augmenté que lorsque James Mattis est arrivé en tant que secrétaire à la Défense sous Trump». Le conseil d’administration comprend plusieurs dirigeants de Google, Microsoft et Facebook, soulevant des controverses concernant les conflits d’intérêts. Une employée du Pentagone chargée de surveiller les conflits d’intérêts a été retirée du conseil de l’innovation après avoir contesté «la relation chaleureuse du Pentagone non seulement avec le PDG d’Amazon, Jeff Bezos, mais avec Eric Schmidt de Google». Cette relation est potentiellement lucrative pour les grandes entreprises de technologie: les recommandations d’éthique de l’IA sont apparues moins d’une semaine après que le Pentagone a accordé un contrat de cloud computing de 10 milliards de dollars à Microsoft, qui est légalement contesté par Amazon.

La majorité des travaux bien financés sur «l’IA éthique» sont alignés sur l’agenda du lobby technologique: ajuster volontairement ou modérément, plutôt que de restreindre légalement, le déploiement de technologies controversées.

Les recommandations visent à contraindre le Pentagone à accroître les investissements militaires dans l’IA et à adopter des systèmes «d’IA éthiques» tels que ceux développés et vendus par les entreprises de la Silicon Valley. Le conseil de l’innovation qualifie le Pentagone d ‘«organisation profondément éthique» et propose d’étendre son «cadre d’éthique existant» à l’IA. À cette fin, le conseil cite les groupes de recherche sur l’éthique de l’IA chez Google, Microsoft et IBM, ainsi que des universitaires parrainés par le fonds MIT-Harvard. Cependant, il y a des mises en garde. Par exemple, le conseil note que bien que «le terme ‘équité’ soit souvent cité dans la communauté de l’IA», les recommandations évitent ce terme en raison du «mantra du DoD [Department of Defense] selon lequel les combats ne devraient pas être équitables, car le DoD vise à créer les conditions pour maintenir un avantage injuste sur tout adversaire potentiel». Ainsi, «certaines applications seront biaisées de manière permissible et justifiée», spécifiquement «pour cibler plus efficacement certains combattants adverses». La conception du Pentagone de l’éthique de l’IA exclut de nombreuses possibilités importantes de délibération morale, telles que l’interdiction des drones pour les tueries ciblées.

Les promoteurs corporatifs, universitaires et militaires de «l’IA éthique» ont collaboré étroitement pour un bénéfice mutuel. Par exemple, Ito m’a dit qu’il avait informellement conseillé Schmidt sur les fonds privés de la fondation privée de Schmidt par les éthiciens universitaires de l’IA. Une fois, Ito m’a même demandé des conseils de second ordre sur la question de savoir si Schmidt devait financer un certain professeur qui, comme Ito, a ensuite servi en tant que «consultant expert» au conseil de l’innovation du Pentagone. En février, Ito a rejoint Carter lors d’un panel intitulé «Computing for the People: Ethics and AI», qui comprenait également des dirigeants actuels et anciens de Microsoft et de Google. Le panel faisait partie de la célébration inaugurale du collège d’un milliard de dollars du MIT dédié à l’IA. Parmi les autres orateurs présents à la célébration figuraient Schmidt sur «l’informatique pour le marché», Siegel sur «Comment j’ai appris à arrêter de m’inquiéter et d’aimer les algorithmes, »Et Henry Kissinger sur « Comment les Lumières se terminent ». Comme Kissinger a déclaré la possibilité d’un «monde reposant sur des machines alimentées par des données et des algorithmes et non régi par des normes éthiques ou philosophiques», la manifestation devant l’auditorium du MIT a attiré l’attention sur les crimes de guerre de Kissinger au Vietnam, au Cambodge et au Laos, ainsi que sur son soutien aux crimes de guerre ailleurs. À l’ère du ciblage automatisé, quelles atrocités l’armée américaine justifiera-t-elle comme étant régies par des normes «éthiques» ou exécutées par des machines au-delà de la portée de l’action humaine et de la culpabilité?

Aucune prétention défendable à «l’éthique» ne peut contourner l’urgence de restrictions juridiquement exécutoires au déploiement des technologies de surveillance de masse et de violence systémique. Tant que de telles restrictions n’existeront pas, la délibération morale et politique sur l’informatique restera subsidiaire à l’impératif de rentabilité exprimé par la devise du Media Lab, «Déployer ou mourir». Alors que certains se déploient, même si ostensiblement «éthiquement», d’autres meurent.

Voir aussi:

ARTE, 24 févr. 2021

La Fabrique de l’ignorance

Pascal Kotté

Science4All (Lê Nguyên Hoang)

Google démantèle son éthique (et tout le monde s’en fout…)

BotReady

Etes-vous "Bot Ready" ?

BotReady

Etes-vous "Bot Ready" ? En Suisse romande et France voisine ! Un programme de veille collaborative avec CloudReady.ch, en collaboration avec Tech4good et Léman Innovation Numérique (LIN). Chatbot, Voicebot, Assistant virtuel, Avatar, Agent personnel Autonome (ASA)…

Pascal Kotté

Written by

Réducteur de fractures numériques, éthicien digital, Suisse romande.

BotReady

Etes-vous "Bot Ready" ? En Suisse romande et France voisine ! Un programme de veille collaborative avec CloudReady.ch, en collaboration avec Tech4good et Léman Innovation Numérique (LIN). Chatbot, Voicebot, Assistant virtuel, Avatar, Agent personnel Autonome (ASA)…

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store