Encore une fois, les commentaires sur un rapport sur les IA passent à côté de l’essentiel, en privilégiant l’angle de l’effroi

Vous reprendrez bien un peu de sensations d’IA fortes ? (cc-by-2.0 Jeremy Thompson)

Le 20 février 2018, 26 spécialistes (anglo-saxons, en majorité des hommes) des questions liées aux IA, à la robotique et à la cybersécurité, venant d’organisations diverses comme le Future of Humanity Institute,
University of Oxford, Arizona State University, le Centre for the Study of
Existential Risk, University of Cambridge, l’Electronic Frontier Foundation (annonce), ou l’OpenAI (annonce), ont publié un rapport d’une soixantaine de pages (100 avec une partie de références très riches, qui méritent en soi un examen approfondi, et les annexes, dont l’annexe B, essentielle) intitulé “The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation” (qu’on pourrait traduire par : L’utilisation malveillante de l’intelligence artificielle : prévisions, prévention et réduction du risque) (accès au rapport PDF sur arXiv).

Ce document, issu d’une année de travail (suite à un atelier “Bad Actor Risks in Artificial Intelligence” qui s’est tenu à Oxford, Royaume-Uni, 19 et 20 février 2017, aux travaux qui l’avaient précédés et aux travaux complémentaires effectués depuis) mérite une véritable lecture attentive (et je vais essayer de vous donner envie de le faire). Et une fois lu, voir comment décliner ceci dans le cadre de stratégie IA française, étendue à l’Europe.

Malheureusement, et encore une fois pourrait-on dire concernant les sujets IA, ce rapport n’a principalement pour l’instant fait l’objet que de titres sensationnalistes suivis d’analyses très en surface de son contenu.

Ayez (très) peur, les IA vont tous nous détruire

Florilège non exhaustif de titres, avant de passer au contenu effectif du rapport:

• Here are some of the ways experts think AI might screw with us in the next five years (The Verge, 20 février)
• VIDEO. Une intelligence artificielle pourrait tomber entre de mauvaises mains, avertissent des experts (20 Minutes avec AFP, 21 février)
• Une vision terrifiante de l’intelligence artificielle (Le Figaro, 21 février, réédité le 22)
• Cyberattaques, fausses vidéos… Un rapport alerte sur le potentiel de l’intelligence artificielle (à nouveau Le Figaro, 21 février)
• L’intelligence artificielle risque de tomber dans de mauvaises mains (sans point d’interrogation, par Le Point, AFP, 21 février)
• Cybercriminalité, terrorisme, manipulation politique… les dangers de l’intelligence artificielle (un peu plus tard, toujours par Le Point, AFP, 21 février)
• Selon ces 26 experts, il faut avoir (très) peur de l’intelligence artificielle (Marianne, 21 février)
• Intelligence artificielle. Le scénario noir d’une utilisation malveillante (Le Télégramme, 22 février)
• Faut-il avoir peur de l’intelligence artificielle ? (France Inter, avec Agences, 22 février)
• Intelligence artificielle : les scientifiques tirent la sonnette d’alarme (ZDNet, 22 février)
• Intelligence artificielle : le scénario catastrophe de 26 experts (Siècle Digital, 23 février)
• Intelligence artificielle : 9 scénarios inquiétants (Presse Citron, 24 février)
• Intelligence artificielle : des experts élaborent un scénario catastrophe (SciencePost, 25 février)

Les corps des articles sont à l’avenant, reprenant une partie de la synthèse du rapport dans ses aspects les plus inquiétants, parfois quelques exemples de scenarii comme “le robot de maintenance truffé d’explosifs qui se glisse dans l’équipe des robots de maintenance, puis balaye le couloir devant le ministre des finances, et boum! explose à son passage”, sans oublier les “Comme Elon Musk et Stephen Hawking nous l’ont déjà dit”, et concluant rarement sur une mention que les experts réunis invitent la communauté à se pencher sur ces problèmes (ils font beaucoup plus que cela, tout simplement parce qu’ils sont dans la communauté qui se penche déjà sur ces problèmes).

Un rapport d’étape beaucoup plus positif et riche d’une feuille de route

En réalité, l’objectif des expert.es ayant planché sur ce texte n’est pas de faire une liste de catastrophes à venir ou de pousser tout le monde aux abris. Comme un des principaux contributeurs, Miles Brundage, du Future of Humanity Institute, l’explique à The Verge :

[…] we certainly shouldn’t panic or abandon hope.
“I like to take the optimistic framing, which is that we could do more,” says Brundage. “The point here is not to paint a doom-and-gloom picture — there are many defenses that can be developed and there’s much for us to learn. I don’t think it’s hopeless at all, but I do see this paper as a call to action.”

Un titre d’article de presse beaucoup plus réaliste pourrait être : “Utilisation maîtrisée des intelligences artificielles : 26 experts rendent un rapport d’étape pour une stratégie à 5 ans”, ou en version courte : “Intelligence artificielle : nouvelles recommandations pour une utilisation bienveillante”. Bref…

Il me semble important en effet — outre cesser de jouer sur les peurs — de rappeler qu’il s’agit d’un travail de réflexion qui n’a pas commencé hier matin et qu’il ne s’agit pas d’une n-ième alerte sur la pile d’Elon Musk, Stephen Hawking et autres, mais bien de propositions concrètes s’adressant à une communauté d’acteurs assez large : équipes de recherche (en IA comme en sécurité), constructeurs de produits et de services, formateurs, régulateurs, législateurs notamment. Autrement dit, plutôt que partager les titres sensationnels et passer à autre chose, mieux vaut se plonger dans le rapport et essayer de le mettre en œuvre localement.

Alors, que trouve-t-on dans le rapport ?

Le rapport explique et démontre que nous sommes dans une période (d’une largeur de cinq années a priori, qui est également l’horizon de leurs prévisions et recommandations, et bien en-dessous de l’horizon d’IA ayant la possibilité d’être “meilleures” que des humains sur un très grand nombre de tâches très diverses, situé à 50 ans (page 16)) où il est toujours possible de bénéficier d’un équilibre en faveur des stratégies de défense contre les utilisations malveillantes des IA.

For the purposes of this report, we only consider AI technologies
that are currently available (at least as initial research and development demonstrations) or are plausible in the next 5 years, and focus in particular on technologies leveraging machine learning. (page 10). (…) we conduct a Strategic Analysis of the “equilibrium” of a world in the medium-term (5+ years) after more sophisticated attacks and defenses have been implemented (page 11) (…) By medium-term, we mean the time period (5+ years from now) after which malicious applications of AI are widely used and defended against, but before AI has yet progressed sufficiently to fully obviate the need for human input in either attack or defense. (page 58)

Les exemples choisis dans la partie 2 des scenarii ne sont pas là pour servir à propager la peur (certains pourraient ne jamais avoir lieu, et d’autres apparaîtront qui n’auront pas été imaginés), mais pour comprendre les grandes classes de menaces possibles.

Examples have been chosen to illustrate the diverse ways in which the security-relevant characteristics of AI introduced above could play out in different contexts. These are not intended to be definitive forecasts (some may not end up being technically possible in 5 years, or may not be realized even if they are possible) or exhaustive (other malicious uses will undoubtedly be invented that we do not currently foresee). (page23)

Trois domaines de menaces possibles sont étudiés tour à tour dans les différentes parties du rapport (scenarii de menaces plausibles en fin de partie 2, domaines de menace en partie 3, recommandations et axes de recherche prioritaire en 4, analyse stratégique en 5, et l’annexe B qui rentre dans le détail des axes de recherche à développer et mériterait un article à elle toute seule, ne passez surtout pas à côté) et les structurent :

• digital security qui regroupe des menaces par et sur des ressources numériques,
• physical security qui regroupe des menaces par et sur des objets matériels, (longue discussion sur les capacités des drones à partir de la page 37)
• political security qui regroupe les menaces sur la société et le vivre-ensemble.

Les spécialistes estiment tout d’abord qu’avec l’augmentation des capacités des IA (“AI systems are commonly both efficient and scalable”, page 16 et suivantes)) :

• les menaces existantes vont s’étendre (les IA facilitant le travail d’humains malveillants n’ayant que leur huile de coude ou presque aujourd’hui),
• devenir accessibles à des non-experts (nombreuses mentions de la diminution drastique actuelle des compétences requises pour créer des systèmes d’IA, et notamment l’abaissement de la barrière psychologique à “faire le mal”, les IA permettant une prise de distance (page 17) ; discussions sur la possibilité de sourcer ou non les personnes cherchant à acquérir ces compétences, par exemple dans le cas des drones, etc.),
• se reproduire plus souvent,
• et s’attaquer à plus de cibles.

De nouvelles menaces, impossibles aujourd’hui pour les seuls humains, et des menaces sur les IA elles-même (elles ont encore de nombreuses vulnérabilités, comme c’est illustré plusieurs fois dans le rapport) sont un deuxième axe de développement. Enfin et troisièmement, la nature même des attaques va changer : elles seront beaucoup plus personnalisées, particulièrement efficaces, difficiles à attribuer (ce qui donne aux humains derrière un sentiment d’impunité plus grand) et susceptibles d’exploiter les vulnérabilités d’IA mal conçues.

(Ces trois points sont détaillés pages 18 à 22).

Sur les problématiques d’attribution des attaques, voir le dilemme exposé page 36 :

Attackers can be deterred from committing future attacks or punished for prior attacks. A necessary (though not sufficient) condition of successfully deterring and punishing attackers is the ability to attribute the source of an attack, a notoriously difficult problem . A compounding problem for those who would attribute an attack is that even if they have high-quality information, they may not want to reveal it, because doing so may compromise a source or method . Finally, some entities may not wish to punish certain actions, so as to avoid creating precedent and thereby preserve leeway to engage in such actions themselves .

Noter que seules les menaces directes sont étudiées (et cela fait déjà beaucoup) ; les menaces “indirectes”, comme les bouleversements du marché de l’emploi ou une perte de contrôle du développement des armes autonomes, ne sont certes pas minimisées, mais non traitées dans ce rapport.

Dans leurs recommandations, les experts proposent de s’inspirer des méthodes en cybersécurité (comme par exemple constituer des red teams, chargés de tester les vulnérabilités des IA produites ; voir notamment discussions page 35 et 37, et Priority Research Area #1, page 53) et estiment que les liens entre experts cybersécurité et experts IA sont encore beaucoup trop faibles.

La nature duale des IA (chercher dual-use dans le rapport ; il s’agit d’un des angles au cœur de ce rapport, et deux des recommandations, page 51 et 52, enjoignent les équipes de recherche à prendre cette nature beaucoup plus au sérieux), qui peuvent tour à tour produire beaucoup de bien pour l’humanité et avoir un volant malveillant, est questionnée (et pas seulement à l’échelle d’individus ; le cas des États installant un régime de surveillance de leur population et/ou refaçonnant la vérité et la confiance, est traité, page 46 et suivantes ; voir aussi page 48 et suivantes de première solutions pour cette échelle collective dans la section “Points of Control and Existing Countermeasures”, qui annonce la partie suivante sur les recommandations).

Le fait que les équipes de recherche aient pris l’habitude de publier très vite, et de manière exhaustive (avec code source) en open access, est également questionné (un peu partout, et notamment Priority Research Area #2, page 54). Ce serait une pratique qu’il faudrait savoir limiter, sur des cas précis (listés). Rien que cela mérite un débat dans la communauté de recherche, jugez plutôt :

As the dual-use nature of AI and ML becomes apparent, we highlight the need to reimagine norms and institutions around the openness of research, starting with pre-publication risk assessment in technical areas of special concern, central access licensing models, sharing regimes that favor safety and security, and other lessons from other dual-use technologies. (page 7)

Les recommandations sont également l’occasion d’affirmer que la réponse doit être simultanément technologique (beaucoup de réflexions sur les parties hardware notamment, cf. “contre-mesures embarquées” page 41) et politique (éducation, régulation, législation). Leur première recommandation est du reste que s’établissent des échanges beaucoup plus serrés entre techniciens des IA et législateurs/régulateurs (page 51). Voir également Priority Research Area #4, page 57.

La partie sur la responsabilisation des équipes de recherche (Priority Research Area #3, page 56) traduit bien l’état d’esprit que j’observe depuis plusieurs années dans la communauté de recherche, qui a une grande conscience des responsabilités qui sont la sienne (contrairement à ce qu’essayent de véhiculer de nombreux articles à sensation sur les IA, donc certains que j’ai déjà traités ici). J’apprécie particulièrement ceci :

Nuanced narratives. More generally, are there succinct and compelling narratives of AI research and its impacts that can balance optimism about the vast potential of this technology with a level-headed recognition of the risks it poses? Examples of existing narratives include the “robot apocalypse” trope and the countervailing “automation boon” trope, both of which have obvious shortcomings. Might a narrative like “dual-use” (proposed above) be more productive?

Un document exploratoire et une invitation à poursuivre en élargissant les parties prenantes

Bien que se plaçant à la suite de nombreux travaux antérieurs (la section des références est là pour le prouver), et consistant je trouve un jalon particulièrement intéressant, les auteur.es veulent rester prudent.es sur la nature de leurs propositions :

Due to the exploratory nature of this report, our primary aim is to draw attention to areas and potential interventions that we believe should be the subject of further investigation, rather than to make highly specific technical or policy proposals that may not be viable. (page 50)

De plus, les 26 expert.es ne présentent pas une vision uniformisée, et la discussion est largement encore ouverte.

There remain many disagreements between the co-authors of this report, let alone amongst the various expert communities out in the world. Many of these disagreements will not be resolved until we get more data as the various threats and responses unfold, but this uncertainty and expert disagreement should not paralyse us from taking precautionary action today. (page 63)

C’est pourquoi je pense que nous devons prendre ce document comme une invitation à poursuivre et abonder ces réflexions, à l’échelle française et européenne. Les 20 pages de l’Annexe B fourmillent de questions auxquelles je serais curieux de savoir comment nous pourrions répondre chez nous.

— — — — — —

Edit2802: (encore un peu de temps pour lire ? voici ma contribution pour l’expérience Bright Mirror de Bluenove (proposez la vôtre). Et ne manquez pas cette longue liste de références proposée par @eirinimalliaraki mi-février sur IA + éthique / transparence / biais / explicabilité… (lisez aussi son papier sur une Alexa féministe :) ))