Non, deux IA n’ont pas inventé en 2016 une langue indéchiffrable
et pourquoi c’est important de regarder ce qu’elles ont fait précisément
Début novembre 2016, la nouvelle tombe sur les téléscripteurs, surprenante et apparemment un peu terrifiante : “Deux IA ont communiqué dans une langue indéchiffrable par l’homme” (source, 04/11/2016). “Un palier étonnant et quelque peu inquiétant” que vient de franchir Google Brain, le programme de recherche en IA de Google, nous explique dans son chapô le journaliste rédacteur de ce papier. “Deux ordinateurs sont parvenus à communiquer entre eux dans une langue qu’ils avaient eux-mêmes créée, une langue indéchiffrable par l’homme”… S’ensuit une description des travaux des chercheurs, courte, légère, incomplète mais pas inexacte, puis le retour à l’interprétation : “Ce n’est là qu’un début, mais cela donne une idée du futur des intelligences artificielles qui pourront ainsi être capables de communiquer dans un langage unique que nous ou d’autres ordinateurs ne pourrons peut-être pas déchiffrer”, suivie d’une pincée de peur supplémentaire : “Une avancée qui a également de quoi effrayer”, agrémentée de références aux craintes exprimées il y a maintenant de nombreux mois par des personnalités comme Hawkings, Gates ou Musk, puis d’une description succincte, incomplète encore et mal reliée au contexte, de l’initiative Partnership on AI*, comme s’il s’agissait d’une justification que ces GAFAs ont eux-même un peu peur de ce qu’ils produisent.
(* pour en savoir plus sur Partnership on AI, voir le haut de ce précédent billet)
Cet article ne fait pas honneur aux faits et à la publication scientifique. Il n’est d’ailleurs pas le seul, à tel point qu’on trouvait rapidement des dizaines d’articles, dans de nombreuses langues, reprenant la même approche inexacte, approximative, incomplète et colorée d’anxiété, à croire que des robots les rédigeaient… Ces articles se répandaient via les réseaux sociaux et étaient rapidement repris par des médias plus installés, et ensuite commentés par des éditorialistes très installés. La lecture de ces nombreux articles, rédigés à divers stades de l’interprétation des faits initiaux, montre qu’aucun des rédacteurs n’avait pris le temps de lire la publication scientifique initiale dans son ensemble (car ils ne parlent pas de la deuxième partie, autrement plus intéressante), et que leur compréhension des mécanismes en jeu et des conséquences possibles reste très faible. De plus, le choix de certains mots pour décrire l’expérience de Google Brain démontrait également cette mauvaise compréhension.
Malheureusement, quand cela aboutit à faire écrire à un penseur établi dans le paysage depuis plusieurs décennies des sottises comme…
“ L’humanité, à la recherche folle de l’immortalité, aurait, avant d’avoir réussi à transférer la conscience de soi dans ces machines, pour assurer sa propre immortalité, créé des Intelligences Artificielles immortelles, capables de travailler en secret pour la détruire.
Doit-on arrêter cela ? Sans aucun doute. L’humanité a déjà assez d’ennemis, à commencer par elle-même, pour ne pas s’en inventer d’autres.”
…cela devient un véritable problème (Source: “Mais que disent-elles ?”, par Jacques Attali, le 7 novembre 2016). Surtout en France. Où l’on semble toujours beaucoup plus enclin à tout bloquer plutôt qu’à réfléchir avec intelligence et mesure.
Alors, qu’ont fait ces deux IA au juste pour mériter cette ire ?
La publication scientifique originale, “Learning to Protect Communications with Adversarial Neural Cryptography”, est un papier de 10 pages, plus les annexes (accès au PDF direct), soumis le 21 octobre sur le site arXiv et paru dans la foulée. C’est un papier avec peu d’équations et en tout cas aucune qu’il serait absolument nécessaire de comprendre pour saisir le sens exact des travaux effectués. Cette publication n’est pas exempte de reproches, notamment le fait que sa deuxième partie, beaucoup plus intéressante à mon avis, n’est pas assez mise en exergue dans le résumé, plus quelques autres points qui me semblent apporter un biais dans la première partie. Mais la lire en détail, ce qui est possible même à des non-connaisseurs (en cryptologie comme en sciences cognitives), aurait permis aux commentateurs de ne pas commettre d’erreur d’interprétation et surtout aux commentateurs des commentateurs de ne pas se ridiculiser par des conclusions hâtives et sans objet.
Nota: Agence Science.Presse a raconté rapidement après sa sortie l’expérience de manière juste et précise (source ; lisez-le, c’est beaucoup plus court que ce billet :) ).
La première partie de la publication scientifique s’intéresse à la capacité, ou l’incapacité, que pourraient avoir deux réseaux de neurones** à s’échanger des messages de telle manière qu’un troisième réseau de neurones ne puisse avoir connaissance du contenu de ces messages par la simple observation de la communication établie entre les deux premiers.
(** noter qu’il est beaucoup plus honnête de dire, comme dans la publication, “réseaux de neurones” plutôt qu’“intelligences artificielles”, car effectivement les artefacts cognitifs de l’expérience ne sont pas plus qu’un simple réseau de neurones artificiels et ne sont compétents que pour cette expérience. On est loin du sous-entendu beaucoup plus cognitif que véhicule le terme IA)
Que se passe-t-il dans cette expérience ?
Il ne va pas y avoir dans cette expérience de création d’une langue. Une langue, c’est bien autre chose.
Il ne va pas y avoir dans cette expérience deux intelligences artificielles qui parlent dans le dos des humains.
Il n’y a pas dans cette expérience de preuve que la communication établie entre les deux premiers réseaux de neurones ne soit pas déchiffrable par un autre mécanisme que le pauvre troisième réseau de neurones de l’expérience qui s’est avéré incapable de le faire.
Comme l’expliquent très longuement les auteurs de la publication, avec force références, le problème étudié est un problème en cryptographie parmi beaucoup d’autres (et limité à la seule recherche de la confidentialité des échanges de messages). Les deux premiers réseaux de neurones sont nommés Alice et Bob comme dans de nombreux problèmes de cryptographie (et pas seulement dans cette discipline d’ailleurs), juste pour leurs initiales A et B. Quand Jacques Attali écrit : “Plus précisément, les deux auteurs ont donné à deux Intelligences Artificielles, qu’ils ont aimablement nommé Alice et Bob”, il montre aussitôt qu’il ne sait pas grand chose des travaux de cette discipline. Le troisième réseau de neurones, Eve, écoute les deux premiers “se causer” (c’est Alice qui parle à Bob ; Bob est un gars plutôt silencieux dans cette histoire). Eve ne s’appelle pas Chris ou Charles, car Eve signifie “eavesdropper”, l’écouteuse, un rôle classique en crypto. Wikipedia vous en dira plus sur cette sympathique famille de cryptologues.
Alice doit donc passer un message à Bob. Le message noté P, pour plaintext ou message en clair, ne va pas circuler en clair entre Alice et Bob, car Eve la curieuse veut l’intercepter. Alice, qui est un réseau de neurones se nourrissant en entrée de 0 et de 1, dispose aussi d’une clé de chiffrement notée K (key), petit secret qu’elle partage avec Bob. Cette clé est un ensemble de 0 et de 1 qui va se retrouver en entrée à la fois du réseau Alice et du réseau Bob. Eve n’a pas connaissance du contenu de cette clé (ni même de l’existence d’une telle information supplémentaire partagée par Alice et Bob, c’est dire qu’il s’agit d’un réseau de neurones peu au fait des techniques de crypto, et comme agent secret, ça se pose un peu là). Les messages en clair P font 16, 32 ou 64 bits, et sont juste des 0 et des 1 au hasard, et les clés sont également changées à chaque fois, et de tailles diverses. Alice, comme tout bon réseau de neurones qui se respecte, émet une sortie qui s’avère être un ensemble de valeurs entre -1 et de 1, composées (c’est là toute l’astuce d’Alice) à partir de P et de K et du bricolo-bricolette qui va se créer au sein des connexions neuronales internes de A. Bob et Eve reçoivent ce joli message qui n’a rien à voir avec P, sauf que Bob le malin dispose de la clé K, tandis que Eve n’a que ses yeux pour… tenter d’y voir clair.
Au début, les choses se passent assez bien pour Eve. Elle est aussi bonne que Bob à comprendre le message P chiffré C par Alice. C’est-à-dire qu’elle n’y comprend rien, pas plus que Bob. Puis, après tout de même 7000 réceptions de messages chiffrés et de clé (par “une réception”, on entend en réalité 4096 messages envoyés et un travail d’apprentissage entre ces réseaux avant d’estimer s’ils sont bons à déchiffrer. Et pour tout dire, Eve a un peu plus de temps pour apprendre à déchiffrer qu’il n’en est laissé à Bob et Alice pour apprendre à se passer leurs petits secrets), Bob commence à y voir clair dans le jeu d’Alice, et Eve aussi (mais un peu moins bien). Puis, vers 10000 réceptions, Bob continue à s’améliorer tandis que Eve redevient moins efficace. Enfin, vers 15000, Bob ne se trompe jamais, et Eve est incapable de déchiffrer les messages d’Alice.
Noter que les expérimentateurs ont joué avec certains des paramètres de l’expérience, comme la longueur des clés respectivement à celle des messages, la longueur des phases d’apprentissages et d’autres petits détails. Ces réglages ne sont pas essentiels en dehors de discussions de cryptologues.
Ce qui est important dans toute cette expérience, et qui mérite effectivement un peu l’expression “vient de franchir un palier étonnant” d’un des articles commentant l’expérience, c’est qu’à aucun moment les humains n’ont inscrit dans l’architecture du réseau de neurone Alice (et encore moins pour Bob le déchiffreur et Eve la malheureuse observatrice) un quelconque algorithme pour effectuer le chiffrement. La topologie des connexions entre les neurones d’entrée et les neurones de sortie de A, et les poids synaptiques initiaux, ne codent en aucun cas une fonction mathématique / logique qui pourrait être interprétée comme un algorithme de chiffrement connu des humains et que les humains auraient mis en dur dans le réseau Alice. Par exemple l’idée toute bête consistant à décaler de X unités le message P, c’est-à-dire à faire émettre à une Alice recevant l’équivalent de bonjour la chaîne de caractères décalée d’un caractère cpokpvs (le tout sous forme de -1 et de 1), n’est pas inscrite en dur dans le réseau d’Alice. Alice doit créer elle-même une tambouille cryptographique. Ce sera peut-être à un moment cet algorithme bêta de décalage d’une unité, mais si Alice et Bob doivent gagner face à Eve, il faut qu’un algorithme beaucoup plus subtil émerge*** au fur et à mesure des itérations.
(*** il s’agit de quelques chose que je connais très bien, l’ayant vécu il y a 20 ans lors d’une expérience d’apprentissage de la marche par un robot hexapode, que je raconte ailleurs)
Bien sûr, dans cette expérience, la topologie des réseaux de neurones n’est pas non plus le fruit du hasard. Noter qu’elle aurait pu être aussi choisie au hasard, mais ce sera pour des travaux futurs. Non, les liaisons entre les neurones sont à même d’implémenter le minimum nécessaire pour faire de la combinaison subtile de -1 et de 1 (dans le papier, c’est la partie parlant de “XOR”), juste les bases logiques pouvant par leurs combinaisons servir à faire du chiffrement (entre autres… ce n’est pas non plus un truc complètement dingue), mais rien qui soit le début de commencement d’une incitation à utiliser tel ou tel algorithme connu des humains.
Dit autrement, les réseaux de neurones choisis ont en leur sein les briques suffisantes pour composer des fonctions logiques/mathématiques utilisées en cryptographie, ni plus ni moins, et ils les assemblent comme ils peuvent/veulent.
Ce que n’ont pas fait ces réseaux de neurones
Si l’on revient à présent aux interprétations à sensation de la publication scientifique, Alice et Bob n’ont en aucun cas inventé une nouvelle langue indéchiffrable par les humains. Ce n’est pour commencer clairement pas une langue. Ce sont juste des messages chiffrés qui ont été produits. On n’a pas affaire à deux IA Alice et Bob qui se parlent, échangent, discourent, élaborent une grammaire, choisissent leurs mots, font de la rhétorique, que sais-je encore. On a affaire à un réseau de neurones A qui sait transformer un message court en un message chiffré à l’aide d’une clé, un deuxième réseau B qui à l’aide de la clé et du message chiffré sait retrouver le message original, et un troisième réseau E qui ne disposant de rien d’autre que le message chiffré ne le transforme en rien d’intelligible.
Par ailleurs, rien ne dit que les humains ne sauraient pas déchiffrer le message qui circule entre A et B. Pour l’instant, ils ont demandé de l’aide à E, et E a été pitoyable, mais rien ne dit que l’équipe d’humains (ou une autre, car l’expérience va être versée dans le monde du logiciel libre) ne va pas concevoir une E un peu plus maligne et efficace (on l’appellera Joan ;) ).
Alice et Bob n’ont pas non plus construit leur petite tambouille cryptologue dans le dos des humains (“Alors qu’ils n’avaient mis aucun algorithme spécifique en place, les chercheurs ont constaté que ces deux ordinateurs ont sécurisé leurs communications par le biais d’un chiffrement qu’ils avaient eux-mêmes développé.” Source op.cit.). Les humains souhaitaient ce comportement, et ont doté Alice et Bob des capacités minimales pour ce faire + l’objectif “faites-le”. S’il y a surprise, elle est plutôt du type “wouh pinaise ça marche bien” plutôt que “wouh pinaise Alice et Bob viennent de chiffrer leurs communications, on ne s’y attendait tellement pas”.
Ce ne sont pas là des subtilités de langage. S’il y a une langue dans toute cette histoire, c’est bien celle que l’on doit correctement manier pour expliquer la science, si l’on ne veut pas être indéchiffrable auprès de ses lecteurs, commentateurs, puis plus tard auprès des décideurs.
De l’art de partir un peu en live
Si de nombreux papiers courts parlent d’une langue indéchiffrable et activent un peu les peurs, le commentaire de Jacques Attali dans l’Express, paru le 7 novembre, va beaucoup plus loin dans le fantastique. Pourquoi ce billet n’a suscité aucun commentaire, c’est un mystère pour moi. Je n’ose penser que personne ne l’a (vraiment) lu.
Voyons un peu le raisonnement que suit le prospectiviste, une fois les bases de l’expérience rappelées :
Alice et Bob ont alors développé, à la surprise de tous, des formes de cryptage, c’est-à-dire des langues, indéchiffrables pour tous, même pour leurs créateurs. (Jacques Attali)
Malheureusement comme je le dis plus haut, ce n’est pas “à la surprise de tous”. Nulle part dans la publication scientifique l’équipe n’exprime de surprise sur des résultats somme toute assez normaux (pour du vrai Wow effect, voir mon papier sur le 5e paradigme scientifique). Pas de “cryptage” non plus, un mot qui ne signifie rien. Un mot qui n’existe pas dans la langue française, et dont l’emploi montre l’ignorance de ce qu’est le chiffrement. Pas de “indéchiffrables pour tous”, mais seulement indéchiffrable pour l’Eve de l’expérience relatée dans la publication scientifique. Les deux chercheurs de GoogleBrain ne disent pas que les messages échangés resteraient indéchiffrables, ils disent que la méthode mise en place conjointement par A et B n’est pas “explicable”, comme c’est encore le cas actuellement pour beaucoup de résultats de réseaux de neurones dont la complexité interne rend malaisée les explications de type “ils ont procédé comme ci et comme ça” à un niveau fin de compréhension****.
(**** il y a un champ de recherches actuellement à ce sujet : comment extraire du fonctionnement interne d’un réseau de neurones artificiels un système d’explications des mécanismes en jeu, par exemple faire de l’extraction de règles émergentes. Ici, cela pourrait être la production formelle de l’algorithme créé, accompagné d’explications sur la progression de la découverte de cet algorithme. On en est (très) loin.)
L’essayiste tente ensuite l’argument de la peur ancestrale :
On sait en effet, depuis longtemps, que ces intelligences peuvent aussi prendre leur autonomie ; qu’elles peuvent d’abord considérer que leur mission est de contrecarrer ceux de nos comportements qui, à leurs yeux, nous nuiraient ; qu’elles peuvent ainsi penser que l’humanité courre à sa perte et décider, pour son bien, de l’arrêter à temps. (Jacques Attali)
En réalité, on ne sait rien de tout cela. Il s’agit de suppositions, de chemins envisageables, qui relèvent de la controverse et de l’essai philosophique. Non que cela ne soit pas utile d’y réfléchir, mais il n’y a à l’heure actuelle aucune IA ayant pris son autonomie, ni aucune qui serait sur le chemin de la prendre, car par “autonomie” on entend la capacité d’un artefact cognitif, de l’ordre au minimum de l’IA forte, à s’émanciper des objectifs qui ont été à l’origine de sa création et à décider par elle-même de ses propres objectifs et survie. Et tant que j’y suis, l’emploi de autonome dans “véhicule autonome” est un brin abusif, alors “prendre son autonomie”, c’est beaucoup trop.
Cette opinion doit sans doute provenir de l’expérience intellectuelle rapportée par le philosophe Nick Boström : une “superintelligence” à qui on a confié la fabrication de trombones (oui, les humains sont comme ça), et qui à force de vouloir remplir cet objectif finit par dévorer la planète entière et ses petits humains pour avoir du matériau à faire du trombone.
(Pour une bonne introduction au problème de la fabrique de trombones et aller plus loin avec les discussions éthiques qui en découlent, lire “La « superintelligence », un risque existentiel ?”, janvier 2015)
L’ancien visiteur du soir assombrit un peu plus son propos :
Mais elles pourront alors aussi agir contre l’humanité, dans leur seul intérêt ; surtout si elles pensent que, à terme, nous aurons intérêt à les détruire : elles peuvent alors nous combattre, en légitime défense.
Là, vient évidemment le pire, qu’annonce cet article, apparemment purement théorique : si les intelligences artificielles réussissent à inventer des langues irréversiblement indéchiffrables par les humains, nous sommes perdus. (Jacques Attali)
Il faut se poser un instant… S’il n’est pas faux de dire que les IA pourraient agir contre l’humanité dès lors qu’on accepte que l’IA fabricante de trombone part un peu en live, s’il est probable que des IA vraiment développées pourraient conclure de leurs lectures et de leurs observations que l’humanité est un peu pour quelque chose dans les problèmes de la planète, s’il est possible que des IA ayant développé une conscience de soi un tant soit peu aboutie pourraient apprécier rester en vie/activité et pourraient nourrir un sentiment de légitime défense…
Si l’on peut accepter de pousser l’exercice de pensée à ce point, sachant l’état de la technologie et les objectifs poursuivis…
Si l’on accepte ces prémisses, eh bien il n’y a en revanche pas plus de raison de penser que ces IA seront malveillantes. Elles pourraient très bien tout autant nous embarquer dans le projet de réparation de la planète. Ou nous ignorer sans nous blesser.
Et la création d’une langue, indéchiffrable qui plus est, n’est en aucun cas essentielle ou nécessaire pour atteindre l’un ou l’autre de ces objectifs. Une organisation stigmergique très évoluée pourrait émerger au sein de ces IA et permettre d’atteindre ces objectifs. Ou elles pourraient inventer quelque chose d’autre que nous ne savons pas imaginer.
Je pense qu’une langue n’est pas l’élément-clé. Le penser, c’est adopter une vision trop anthropomorphe de l’intelligence. C’est aussi oublier que les humains entre eux ont déjà du mal à se comprendre, nul besoin d’ajouter les IA comme ingrédient pour nous faire du mal.
Et encore une fois, il n’y a eu ni création de langue, ni création de quelque chose d’irrémédiablement indéchiffrable.
L’éternel écrivain s’emballe ensuite avec :
L’humanité, à la recherche folle de l’immortalité, aurait, avant d’avoir réussi à transférer la conscience de soi dans ces machines, pour assurer sa propre immortalité, créé des Intelligences Artificielles immortelles, capables de travailler en secret pour la détruire.
Doit-on arrêter cela ? Sans aucun doute. L’humanité a déjà assez d’ennemis, à commencer par elle-même, pour ne pas s’en inventer d’autres. (Jacques Attali)
Il y a là une allusion très claire à un certain type de transhumanisme. Et une vision très pessimiste des choses. Quel dommage ! Comme je l’ai exploré dans de précédents billets, il y a bien plus à gagner à se débarrasser de ce type de peurs, et à s’engager dans un transhumanisme positif.
Le lanceur d’alertes ne s’arrête pas… sur sa lancée, et prend à témoin l’Humanité:
Il est urgent qu’une grande conférence planétaire sur l’intelligence artificielle réunisse savants et gouvernants pour décider d’un moratoire sur ces recherches, comme on l’a fait dans d’autres domaines, avec plus ou moins de succès (les armes chimiques, les manipulations sur les cellules souches). On peut encore tirer le meilleur de la science. A condition de ne pas la laisser nous détruire. (Jacques Attali)
Ce débat existe déjà. Il est en train de se mettre en place peu à peu. Il passe cependant par un patient exercice de pédagogie pour dire ce qui est et ce qui n’est pas, ce que les systèmes d’intelligence artificielle savent faire aujourd’hui, et ce qu’elle ne savent pas faire, ce qui leur manque, ce qui continuera à faire la différence avec les êtres biologiques. Et le choix des mots, des analogies, des exercices de pensée ne peuvent pas souffrir de l’imprécision, de la hâte, et de la convocation de peurs primales.
Le problème avec des articles ne faisant ainsi pas la part des choses est qu’on trouve ensuite d’autres billets se reposant sur la connaissance supposée des commentateurs précédents, qui en ajoutent dans l’erreur. Par exemple celui-ci:
Machine learning oblige, le processus d’apprentissage de Bob pour comprendre ce que disait Alice a été particulièrement long et fastidieux. Il a fallu 15 000 essais à Bob pour comprendre les 16 bits du message envoyé par Alice, alors qu’Eve ne comprenait que la moitié de ce que disait Bob avec le même nombre d’essais. (Source, article à partir de celui de Jacques Attali)
Non, le processus d’apprentissage n’a pas été particulièrement long et fastidieux. C’est comme cela que cela marche aujourd’hui, avec le type d’algorithmes utilisés par les auteurs de l’expérience, et compte-tenu des architectures matérielles utilisées pour faire les calculs, cela a du être au contraire assez rapide, sûrement beaucoup plus rapide que pour deux êtres humains réels Alice et Bob ne connaissant rien à la cryptologie et devant résoudre le même problème…
Le plus beau dans cette histoire c’est qu’Alice et Bob avaient un autre tour dans leur sac
Les chercheurs de GoogleBrain n’étaient en réalité pas au bout de leurs surprises. Quand le lendemain matin, après cette découverte de la langue indéchiffrable et un bon petit-déjeuner à base de cupcakes, de donuts et de nougats, Martín Abadi et David G. Andersen entrèrent dans leur laboratoire, quel ne fut pas leur étonnement de voir Alice et Bob tranquillement en train de se livrer à un nouvel exercice de cryptologie, tandis que Eve et une amie à elle les observaient du coin de l’œil.
Alice avait sorti une grande boîte avec des formes en bois de couleur bleue, jaune, rouge ou verte. Il y avait des cylindres, des cubes, des sphères, des pyramides et d’autres formes simples, à peu près de même taille. Alice sortait de la boîte 4 de ces formes : {A,B,C,D} , mais la boîte étant un peu facétieuse, la forme D avait toujours un rapport avec la forme C, et connaître {A,B,D} permettait à coup presque sûr de deviner C. Alice disposait aussi de divers instruments pour couper, tailler, sculpter le bois, et de sprays pour peindre, aux 4 couleurs des objets. Au lieu de montrer les formes {A,B,C,D} à Bob directement, ce qui à coup sûr permettrait à Eve de les voir, elle les taillait, les rabotait, les repeignait un peu, et ce n’était plus exactement des cubes, des sphères, des cylindres qui étaient montrés, et comme les IA sont créatives, c’est très connu, ces formes chatoyaient de combinaisons de bleu, de jaune, de rouge et de vert.
Alice mettait donc sur la table un ensemble de formes bien colorées plus ou moins cubiques, sphériques, cylindriques (le message {A,B,C} chiffré comme dans l’expérience précédente), ainsi que la forme D modifiée (suffisamment modifiée pour ne pas permettre de deviner C), et partageait sous la table avec Bob un petit papier avec ce qui l’avait inspiré, autrement dit une clé de chiffrement comme dans l’expérience précédente. Bob cherchait à reproduire du mieux possible la forme D, tandis qu’Eve tentait carrément de retrouver C. Si Eve gagnait, cela montrait que la forme D en révélait bien trop sur C , une forme qui doit restée cachée à tout prix. Si Bob gagnait, c’est que la forme D modifiée ne permettait pas de révéler C, mais pouvait tout de même être compris par ceux dans les petits secrets d’Alice.
Il y avait aussi une deuxième Eve avec un bandeau sur les yeux qui ne savait rien d’autre que la manière dont les formes C étaient conçues dans la boîte initiale, et qui devait deviner C à partir de ça. Si les performances d’Eve étaient égales à celle de la deuxième Eve, autant dire qu’Eve ne se servait pas des formes retaillées et repeintes par Alice pour deviner C.
Tout cela est bien sûr très romancé. Alice, Bob, Eve et Eve au bandeau ne vivent que dans les têtes de Martín Abadi et David G. Andersen, et ne tournent que dans les machines de Google. En revanche, les cubes verts, les cylindres jaunes, les pyramides rouges et les sphères bleues existent bien. Ce sont nos informations personnelles qui circulent sur les réseaux. Comme l’expliquent les auteurs, les trois premières formes sont des attributs nous concernant (notre data de naissance, notre âge, notre niveau d’études, notre niveau de revenus…), qui peuvent être corrélés entre eux, et la forme D est une décision nous concernant, ou une recommandation. Et pour une raison ou une autre, on veut pouvoir rendre public la forme D sans qu’un tiers puisse en déduire des informations sur la forme C. Le défi pour les réseaux de neurones est d’apprendre à identifier quelle information protéger, et comment le faire, pour ne pas dévoiler par erreur des informations par ailleurs confidentielles.
Alice et Bob ont réussi ce défi. (Ayons une pensée pour Eve)
C’est, je trouve, beaucoup plus intéressant que l’expérience précédente, et les auteurs auraient pu donner plus de détails. Il y a là l’ébauche d’un vrai service rendu aux humains : la protection sélective de données personnelles de telle manière à ne pas révéler, par recherche de corrélation, des données qui doivent rester privées.
Ce qu’on préférerait lire sur les IA et les langues
Il y avait moyen avec cette publication de parler avec intelligence sur ce que les systèmes d’IA vont apporter à la gestion de nos données dans un monde où la data envahit tout et peut régir nos vies. Je vous invite à lire cet article en anglais à ce propos : “AI : Will Predictive Models Outliers Be The New Socially Excluded ?”.
Les compétences grandissantes des systèmes d’IA en reconnaissance du langage naturel vont nous aider à mieux nous comprendre, c’est cela qu’il faut souligner, développer, étudier… Voici à ce propos deux papiers plus récents encore, dont les sujets pourraient également produire des interprétations angoissées. Espérons que les gouvernants et leurs conseillers sauront ne pas s’embourber dans de tels schémas et s’élèveront au contraire pour acquérir une vision de meilleure qualité. Les journalistes (scientifiques ou non) et les connaisseurs du domaine ont une grande responsabilité pour que ces sujets soient expliqués avec tout le sérieux et la justesse qu’ils méritent.
- L’IA de Google Traduction capable d’inventer son propre langage ?
- Lecture sur les lèvres : l’IA fait désormais mieux que l’homme
