L’Intelligence Artificielle Racontée à mes Neveux et Nièces (5)
J’ai tout de même un peu peur, j’avoue : l’obsolescence de mon cerveau n’est-elle pas d’ores et déjà programmée ? (2)
(Mehdi, 18 ans, avec Driss, 15 ans, et Astou et Hilary, 18 ans)
2ème partie : Annihilation
Où l’on discute des arguments des chercheurs, philosophes et futurologues qui voient dans le développement possible des intelligences artificielles généralistes une menace existentielle pour l’humanité.
Mehdi
(¬_¬)
Donc, je me demandais la dernière fois s’il ne faudrait pas s’assurer de pouvoir garder le contrôle sur les intelligences artificielles généralistes qui seraient bien plus intelligentes que les humains…
Marc
8-)
La coopération entre les humains et les machines passe nécessairement, pour certains, par un contrôle des premiers sur les secondes.
Herbert Simons, l’un des participants au fameux séminaire de Dartmouth, avertissait déjà : “Nous devons aussi rester sensibilisés au besoin de faire correspondre les objectifs de la machine avec les nôtres.” Mais il était plutôt optimiste quant à notre capacité à y parvenir : “Je ne suis pas convaincu que ce sera difficile.” Cependant, Norbert Wiener, autre pionnier des machines intelligentes, met en garde sur la difficulté à contrôler une machine dotée d’une très grande intelligence : “L’asservissement total et l’intelligence totale ne vont pas ensemble.”
Mehdi
(¬_¬)
Intelligence totale, ça veut dire des millions de fois plus intelligentes que les humains dans tous les domaines, non ?
Marc
8-)
Quelque chose comme ça, oui. Le philosophe Nick Bostrom nomme superintelligence cette intelligence totale. Il la définit ainsi : “Une superintelligence est toute forme d’intellect qui dépasse très largement les meilleurs cerveaux humains dans quasiment tous les domaines, tant en termes de créativité scientifique que de sagesse et sociabilité.”
Mehdi
(¬_¬)
C’est très différent d’AlphaZero ou Watson qui sont juste un peu plus intelligentes dans un domaine très spécifique.
Marc
8-)
En effet.
Mehdi
(¬_¬)
Comment alors les humains pourraient-ils créer une machine qui serait aussi intelligente que ça ? On ne serait même pas capable de la comprendre…
Driss, Astou & Hilary
(¬_¬)
Marc
8-)
Cette intelligence très supérieure ne serait pas nécessairement créée par les humains.
Mehdi, Driss, Astou & Hilary
(o_O)
Marc
8-)
Irving Good, un statisticien de renom qui a collaboré avec Alan Turing, a proposé l’argument suivant : “Supposons qu’existe une machine surpassant en intelligence tout ce dont est capable un homme, aussi brillant soit-il. La conception de telles machines faisant partie des activités intellectuelles, cette machine pourrait à son tour créer des machines meilleures qu’elle-même ; cela aurait sans nul doute pour effet une réaction en chaîne de développement de l’intelligence, pendant que l’intelligence humaine resterait presque sur place. Il en résulte que la machine ultra intelligente sera la dernière invention que l’homme aura besoin de faire, à condition que ladite machine soit assez docile pour constamment lui obéir.”
Astou
(¬_¬)
Donc, il suffirait de construire une intelligence artificielle généraliste plus intelligente que nous. Et, elle, à son tour, construirait une intelligence artificielle plus intelligente qu’elle, et ainsi de suite.
Marc
8-)
Exactement.
Hilary
(¬_¬)
Mais il y a peu de chances pour que ces machines super intelligentes obéissent aux humains.
Marc
8-)
C’est bien ce que dit Norbert Wiener et ce que semble craindre Irving Good..
Driss
(¬_¬)
C’est vrai qu’on peut se demander pourquoi Jarvis, dans Iron Man et dans The Avengers, est si obéissant… En plus, il contrôle toutes les armures de l’Iron Legion et plein d’autres choses.
Marc
8-)
Je me suis parfois posé la question, moi aussi.
Astou
(¬_¬)
Et puis Jarvis semble doué de conscience. Si c’était bien le cas, son asservissement poserait de vraies questions morales…
Driss
(¬_¬)
Mais, euh… Si ce que dit Irving Good se produit, les humains seront vite dépassés par les machines. Notre cerveau deviendrait très vite obsolète.
Marc
8-)
Ce moment de l’émergence soudaine d’une super intelligence qui dépasserait les humains au point qu’ils ne seraient même plus en mesure de l’appréhender s’appelle la singularité technologique. Cette théorie a été énoncée pour la première fois par le mathématicien et auteur de science-fiction Vernor Vinge, dans un article intitulé What is The Singularity?. Publié en 1993, il prophétisait : “Dans trente ans, nous aurons les moyens technologiques de créer une intelligence surhumaine. Peu après, l’ère humaine prendra fin.”
Driss
(O_o)
Mais…
Astou & Hilary
(o_O)
Mais…
Mehdi
(O_o)
Ça devrait se produire en 2023, alors !
Marc
8-)
Oui, c’est ce que dit la prédiction de Vernor Vinge. Cependant, il est vraiment très peu probable que l’année 2023 — ou une année proche de celle-ci — soit celle de la singularité technologique, si toutefois elle se produit un jour.
Hilary
(°~°)
Qu’est-ce qui arriverait si la singularité technologique se produisait ?
Marc
8-)
La singularité technologique aurait pour conséquence une très nette accélération du progrès technologique. On assisterait alors à une sorte de grand emballement. Tout comme Irving Good, Vernor Vinge dit possible la création d’entités de plus en plus intelligentes.
Du point de vue d’un humain, le changement se produirait à une vitesse vertigineuse, rendant obsolètes toutes les règles que nous connaissons en un rien de temps. Il serait impossible à contrôler.
Ce moment, selon Vernor Vinge, serait aussi important que celui de l’apparition de la vie sur Terre.
Driss
(¬_¬)
C’est quand même difficile à imaginer… Je me demande bien à quoi ça pourrait ressembler…
Marc
8-)
Pour se faire une idée de l’ampleur de ce changement, Vernor Vinge propose une analogie basée sur l’évolution.
Les animaux évoluent au rythme de la sélection naturelle. Les humains, grâce à leur capacité à internaliser leur représentation du monde, peuvent considérer très rapidement de nombreux scénarios et leurs conséquences. Grâce au progrès technologique, les humains peuvent faire ces simulations de plus en plus rapidement. Ainsi, la vitesse d’évolution des humains est sans commune mesure avec la vitesse d’évolution des animaux. Si on peut aujourd’hui mesurer l’évolution humaine en décennies, l’évolution par sélection naturelle se mesure, quant à elle, en millions, voire en milliers d’années.
Si la singularité technologique se produit, nous entrerons alors dans une ère où le rythme de l’évolution sera aussi radicalement différent du nôtre que notre propre rythme d’évolution est différent de celui des animaux !
Astou
(¬_¬)
Donc, si la singularité technologique se produit, les intelligences artificielles seront considérablement plus intelligentes que les humains et évolueront des milliers ou même des millions de fois plus vite…
Marc
8-)
Des intelligences artificielles ou des humains augmentés par la technologie. Des humains mi-biologiques, mi-technologiques ! Voire des humains entièrement technologiques !
Mehdi, Driss, Astou & Hilary
(o_O)
Marc
8-)
Par ses spéculations sur l’amélioration technologique des humains, Vernor Vinge s’inscrit clairement dans le courant transhumanisme.
Driss
(¬_¬)
C’est quoi ça, le transhumanisme ?
Hilary
(¬_¬)
J’en ai un peu entendu parler, déjà… Je crois que c’est un mouvement qui prédit que toute l’humanité va bientôt se transformer grâce au progrès scientifique et technologique.
Marc
8-)
Dans les grandes lignes, c’est bien ça. À la suite de Vernor Vinge, la théorie de la singularité a été grandement popularisée par l’un des plus médiatiques penseurs du transhumanisme, Ray Kurzweil.
Hilary
(¬_¬)
Ah oui, voilà, Ray Kurzweil ! C’est lui dont j’ai entendu parler !
Marc
8-)
Dans son livre intitulé The Singularity Is Near, la singularité technologique, il la prévoit pour 2045. Après qu’une intelligence artificielle aura atteint un niveau d’intelligence comparable à celui d’un humain en 2029.
Hilary
(¬_¬)
Ça ne paraît tout de même pas très sérieux, ce genre de prédictions…
Marc
8-)
Tu n’es pas la seule à le penser. Par ailleurs, cette théorie de la singularité technologique essuie de nombreuses critiques.
Mehdi
(¬_¬)
Pourquoi on en parle autant, dans ce cas ?
Marc
8-)
Parce qu’elle est sensationnelle ! Elle inspire la crainte tout autant qu’elle fascine. Elle fait parler dans les médias. Elle fait vendre. Et puis, elle a trouvé de nombreux relais auprès de personnalités renommées.
Les transhumanistes, Ray Kurzweil en tête, se réjouissent de cette évolution, inéluctable et très proche, selon eux.
Elon Musk, par exemple, fondateur de Tesla, SpaceX et Neuralink, y va lui aussi de ses prédictions. Dans un tweet datant de 2017, il situe la singularité technologique dans les années 2030. En 2020, lors d’un entretien accordé au New York Times, il la situe en 2025. En cela, il rejoint, à quelques années près, la prédiction de Vernor Vinge. Lui, met en garde contre les dangers que cet avènement soudain pourrait représenter.
Mais la plus illustre des personnalités à avoir relayer la théorie de la singularité technologique est très certainement le physicien Stephen Hawking. Lors d’un entretien accordé à la BBC en 2014, il affirme : “Le développement d’une intelligence artificielle généraliste pourrait marquer la fin de l’espèce humaine.” Reprenant l’argument d’Irving Good, il ajoute : “Elle progresserait drastiquement par elle-même et s’améliorerait d’elle-même à un rythme toujours plus élevé. Les humains, limités par la lenteur de leur évolution biologique, ne pourraient pas rivaliser et seraient remplacés.”
Driss
(¬_¬)
Ah ben ça, c’est exactement Ultron dans The Avengers !
Marc
8-)
Ah oui, tout à fait ! Ultron est un bon exemple de la représentation de la singularité technologique dans le cinéma populaire actuel.
Le philosophe Nick Bostrom est, lui, plus prudent. En 1997, il a prédit, dans un article intitulé How Long Before Superintelligence?, que les capacités de calcul qui pourraient rendre possible la conception d’une superintelligence surviendra au cours du premier tiers du 21ème siècle. Il ne se prononce pas concernant l’aspect algorithmique.
Astou
(¬_¬)
Et Nick Bostrom, il pense, lui aussi, qu’une super intelligence pourrait provoquer la fin de l’espèce humaine ?
Marc
8-)
Selon lui, le plus gros risque encouru avec la conception d’une super intelligence serait de ne pas parvenir à la rendre philanthrope. Un échec pourrait conduire à l’extinction de l’humanité.
Astou
(¬_¬)
Quels sont les arguments de ceux qui critiquent cette théorie ?
Marc
8-)
Quels seraient les vôtres si vous deviez la critiquer ?
Hilary
(¬_¬)
Les prédictions ! Comme je disais, ça n’a pas l’air très sérieux. Pas très scientifique, en fait. Parce que, je me dis, comment peut-on donner des dates aussi précises et de façon aussi sûre ?
Marc
8-)
C’est un reproche qui est effectivement adressé aux tenants de la théorie de la singularité technologique, les singularitaristes.
Theodore Modis est physicien, analyste stratégique et futurologue. Dans un article intitulé The Singularity Myth paru dans la revue Technological Forecasting & Social Trends, il juge non scientifique l’approche utilisée par Ray Kurzweil pour justifier sa prédiction : “Ce que je veux dire, c’est que Kurzweil et les singularitaristes se livrent à une sorte de parascience, qui diffère de la vraie science en termes de méthodologie et de rigueur. Ils ont tendance à négliger les pratiques scientifiques rigoureuses telles que se concentrer sur les lois naturelles, donner des définitions précises, vérifier méticuleusement les données et estimer les incertitudes.”
Jean-Gabriel Ganascia, spécialiste de l’intelligence artificielle, professeur à la faculté des sciences de la Sorbonne Universités et président du comité d’éthique du CNRS, adresse une critique étayée de la théorie de la singularité technologique dans son livre intitulé Le Mythe de la Singularité : Faut-Il Craindre l’intelligence artificielle ? Il y invite, notamment, à faire preuve de la plus grande rigueur dans la distinction de la possibilité et de la probabilité. La première relève de la divination, la seconde de la science. Et puis, il sort la théorie de la singularité du champ scientifique dans lequel elle revendique sa place en affirmant qu’elle relève davantage de l’imaginaire que de la raison : “Là où la science distingue nettement entre l’argumentation rationnelle et l’imaginaire de romanciers et cinéastes, les penseurs de la Singularité technologique les confondent dans un grand récit.”
De scientifiques, Ray Kurzweil et les autres singularitaristes seraient devenus prophètes.
Hilary
(¬_¬)
Quand on prédit le réchauffement climatique, c’est la même chose, alors ? Ce ne serait que des prophéties ?
Marc
8-)
C’est une bonne question qui nous amène à une autre critique adressée par Jean-Gabriel Ganascia : le scénario établi par la théorie de la singularité technologique est présenté comme étant inéluctable. Il n’est jamais évalué en regard d’autres scénarios. Et il prend justement l’exemple de la question du réchauffement climatique pour illustrer ce manque : “Dans le cas de la climatologie, on simule différents modèles sous différentes hypothèses scientifiques ; on les valide par des études rétrospectives, sur des données issues d’observations contrôlées ; ensuite on confronte les anticipations auxquelles ces modèles conduisent ; enfin, on les publie et les discute publiquement. Aujourd’hui, tous les scénarios concluent au réchauffement global, même si la vitesse du processus et ses conséquences diffèrent d’un modèle à l’autre. Dans le cas de la Singularité technologique, il en va tout autrement : aucune évaluation claire ne confronte ce scénario à d’autres.”
Mehdi, Driss, Astou & Hilary
(¬_¬)
Driss
(¬_¬)
J’ai une autre critique…
Astou
(¬_¬)
Mais pourquoi ils font de telles prédictions, alors ? Leurs compétences scientifiques ne devraient-elles pas les mettre à l’abri de ce type de pensée ?
Marc
8-)
D’autres raisons sont peut-être à trouver dans l’analyse que fait Pierre Bourdieu de ce qu’il nomme le champ scientifique. Loin d’être un univers pur et désintéressé, le sociologue décrit le champ scientifique comme étant un lieu de concurrence, de lutte pour le monopole de l’autorité scientifique. Autorité qui est définie tant en termes de capacité scientifique que de pouvoir social.
La théorie de la singularité technologique n’est peut-être, pour certains, qu’un moyen de gagner en notoriété. Notoriété dont l’une des conséquences pourrait être l’obtention de moyens financiers plus conséquents.
Mehdi
8-)
Des fois, aussi, quand on a eu de nombreuses réussites financières ou technologiques ou scientifiques, on peut avoir l’impression qu’on a tout compris à la façon dont marche le monde. Et donc, on pourrait facilement croire qu’on est capable de savoir ce qui va se passer dans le futur proche.
Et parfois encore, la crainte irrationnelle peut être plus forte que la raison. Personne n’en est totalement immunisé, peu importe le bagage scientifique dont on dispose.
Marc
8-)
Très juste ! Cependant, ces craintes peuvent également être fondées sur l’histoire récente.
La crainte de Stuart Russell de voir naître une super intelligence à tout moment et des conséquences tragiques que son apparition pourrait provoquer repose sur l’analyse qu’il fait de l’avènement des armes nucléaires. Dans un article pour le New Yorker, Raffi Khatchadourian relate un échange qu’il a eu avec le spécialiste de l’intelligence artificielle à ce sujet : “Au tournant du 20ème siècle, Ernest Rutherford a découvert que les éléments lourds produisent des radiations par désintégration atomique, confirmant qu’un vaste réservoir d’énergie se nichent au cœur de l’atome. Rutherford était convaincu que l’énergie ne pouvait pas être exploitée et, en 1933, il a proclamé : “Quiconque attend de la transformation de ces atomes une nouvelle source d’énergie dit des absurdités.” Le jour suivant, un ancien élève d’Einstein nommé Leo Szilard a lu ce commentaire dans la presse. Irrité, il est sorti marcher et c’est alors qu’il a eu l’idée d’une réaction nucléaire en chaîne. Il rendit visite à Rutherford pour en discuter avec lui, mais celui-ci le congédia. Einstein lui-même était sceptique à propos de l’énergie nucléaire — la fission nucléaire sur commande, disait-il, était “comme de tirer sur des oiseaux dans l’obscurité dans un pays où les oiseaux sont rares.” Une décennie plus tard, l’idée de Szilard était utilisée pour fabriquer la bombe atomique.”
Stuart Russell raconte cette histoire pour nous avertir : le progrès scientifique peut survenir très rapidement et les idées qui peuvent paraître irréalistes à un moment donné peuvent très vite être exploitées et aboutir à des conséquences néfastes.
Hilary
(¬_¬)
Ça dit aussi que les scientifiques ont des responsabilités…
Astou
=)
“À grands pouvoirs, grandes responsabilités !” comme l’a dit Oncle Ben à Peter Parker.
Marc
8-)
Comme l’a dit également Norbert Wiener. Dès les années 1940s, il a critiqué le point de vue de son mentor, le mathématicien Godfrey Hardy. Dans un ouvrage intitulé A Mathematician’s Apology, il met en avant l’innocuité des mathématiques : “Les vraies mathématiques n’ont aucun effet sur la guerre. Personne n’a encore découvert d’applications guerrières à la théorie des nombres ou à la théorie de la relativité… Un vrai mathématicien a la conscience propre.”
Mehdi
(¬_¬)
Comment ça, les vraies mathématiques ?
Marc
8-)
Par opposition aux mathématiques appliquées. Norbert Wiener a contribué, par ses travaux, à l’amélioration des tirs de défense anti-aérienne, durant la Seconde Guerre mondiale. À l’innocence affichée par Godfrey Hardy, il oppose la responsabilité : “Peu importe son degré d’innocence en son for intérieur ou dans sa motivation, le véritable mathématicien est potentiellement un facteur important de changement de la société. Il est aussi dangereux que tout individu qui détiendrait un véritable arsenal pour la nouvelle guerre scientifique du futur.”
Par la suite, Norbert Wiener a refusé toute nouvelle implication dans des applications militaires. Une position courageuse, à l’époque, qui l’a fait passer pour un excentrique auprès de ses confrères.
Mehdi, Driss, Astou & Hilary
(o_O)
Driss
(¬_¬)
Oui, alors je disais, j’ai une autre critique : est-ce qu’il ne suffirait pas de contraindre les intelligences artificielles avec les quatre lois de la robotique d’Isaac Asimov pour éviter l’extinction ?
Mehdi
(¬_¬)
Oui, mais ça n’empêcherait pas la singularité technologique. Simplement, ça nous protégerait de ses conséquences néfastes.
Hilary
(¬_¬)
Ça reviendrait à créer des super-esclaves capables de répondre à nos moindres besoins.
Driss
(¬_*)
Comme dans Wall-E !
Astou
(¬_¬)
Et puis, ça supposerait que tout le monde soit d’accord pour imposer ces lois. Dans le monde entier. Je crois bien que l’esprit de compétition rendrait cela impossible.
Marc
8-)
Les questions morales mises à part, ça paraît en effet utopique.
Mehdi, Driss & Astou
(¬_¬)
Hilary
(¬_¬)
Mais déjà, est-ce qu’il serait possible de construire un ordinateur assez puissant pour concevoir et assurer l’apprentissage d’une intelligence artificielle généraliste beaucoup plus intelligente que nous ?
Marc
8-)
C’est un bon point ! Les défenseurs de la théorie de la singularité technologique basent leur réflexion sur la loi de Moore qui dit que le nombre de transistors sur une puce de silicium double tous les deux ans. De là, ils concluent que le progrès technologique connaît une croissance exponentielle.
La loi de Moore n’était, au départ, qu’une simple observation faite par Gordon Moore, cofondateur de la société Intel, sur la base d’une tendance qu’il a pu observer. Avec le temps et alors que la tendance observée par Gordon Moore se répétait, l’observation initiale a été présentée comme une prédiction. Puis comme une loi. Elle s’est vérifiée jusqu’au début du 21ème siècle.
Mehdi
(¬_¬)
Mais on ne peut pas miniaturiser à l’infini…
Marc
8-)
Non, on ne peut pas.
Et depuis quelque temps déjà, la loi de Moore n’est plus vérifiée. Si bien que l’International Technology Roadmap for Semiconductors a annoncé son abandon en 2016. La loi de Moore ne permet donc pas d’affirmer que le progrès suit une croissance exponentielle. Elle montre même le contraire.
Hilary
(¬_¬)
Ah ben donc, on ne pourra pas faire des ordinateurs assez puissant alors !
Marc
8-)
Probablement pas avec la technologie actuelle. Mais d’autres voies sont à l’étude, comme l’informatique quantique ou l’informatique moléculaire. Cette dernière pourrait en plus résoudre le problème d’approvisionnement en silicium.
Mehdi
(¬_¬)
Les réserves limitées en silicium, j’y avais pensé…
Marc
8-)
Rien ne permet toutefois d’affirmer que ces nouvelles technologies, à supposer qu’elles parviennent à s’imposer, suivent la même courbe de progrès que les processeurs actuels.
Mehdi, Hilary & Astou
(¬_¬)
Driss
(¬_¬)
Et la consommation énergétique ? Toutes ces machines super intelligentes, elles consommeraient beaucoup d’énergie. Et on n’en a pas en quantité illimitée !
Marc
8-)
Voilà un autre bon point ! Il existe bien des projets de captation de l’énergie solaire depuis une orbite terrestre puis de transmission de cette énergie sur Terre, mais la quantité d’énergie qu’une telle technologie pourrait réellement apporter est encore incertaine.
Mehdi
(¬_¬)
Moi, il y a un autre truc qui me dérange… Dans son argument, Irving Good, il a l’air de penser que c’est évident qu’une machine super intelligente voudra créer une machine encore plus intelligente qui, à son tour, voudra en créer une encore plus intelligente, et ainsi de suite. Mais pourquoi, en fait, une machine voudrait-elle faire ça ?
Marc
8-)
Le pourrait-elle, seulement ? En aurait-elle la capacité ? Aurait-elle la capacité de faire autre chose que ce pourquoi elle a été conçue ? Aujourd’hui, rien ne permet de penser qu’on serait proche de créer une machine douée d’autonomie, c’est-à-dire douée de la capacité à se donner ses propres objectifs.
Hilary, Driss & Mehdi
(¬_¬)
Astou
(¬_¬)
Et aussi pourquoi une machine super intelligente voudrait remplacer les humains ? Ça n’a rien d’évident…
Marc
8-)
Ça n’a rien d’évident, en effet, bien que l’on considère souvent que l’autonomie accompagne nécessairement l’intelligence.
Mais ce n’est tout simplement pas comme ça que le cerveau fonctionne, nous dit Jeff Hawkins, l’un des cofondateurs de la société Numenta qui a pour mission de comprendre le fonctionnement du néocortex et d’appliquer les principes de l’intelligence humaine à la conception de machines intelligentes. Dans un entretien accordé au magazine IEEE Spectrum, il distingue le néocortex, berceau de l’intelligence, des autres parties du cerveau : “Les humains ont un néocortex qui est l’organe de l’intelligence. Cet organe apprend un modèle du monde qui constitue la base de ce qui fait que nous sommes intelligents. Le cerveau est aussi composé d’autres structures qui créent émotions et motivations. Une intelligence artificielle pourvue de l’équivalent d’un néocortex mais pas des autres parties du cerveau ne développera pas spontanément des émotions et des pulsions telles qu’on les trouve chez les humains. Donc, si on ne les met pas dans la machine, émotions et pulsions ne surgiront pas de nulle part.”
Mehdi
=)
Donc, une machine, même super intelligente, ne pourrait pas avoir des objectifs différents de ceux qui lui ont été donnés lorsqu’elle a été conçue !
Driss
(@_@)
Euh… Pourquoi elles ne pourraient pas avoir des émotions et des pulsions, les machines super intelligentes ?
Astou
=)
En fait, lorsqu’on imagine que des machines super intelligentes puissent construire des machines plus intelligentes qu’elles ou encore qu’elles puissent asservir, voire anéantir, l’humanité, c’est comme si on considérait qu’elles se comporteraient nécessairement comme un humain. Mais ce n’est pas possible parce que, pour la rendre intelligente, il serait seulement nécessaire de répliquer le néocortex.
Driss
(¬_*)
Ah oui ! Et comme les émotions et les pulsions ne sont pas dans le néocortex mais dans d’autres structures du cerveau, les machines super intelligentes ne pourraient pas en avoir !
Marc
8-)
Comme le raconte Jeff Hawkins — cette fois-ci dans son livre A Thousand Brains: A New Theory of Intelligence — un argument souvent avancé par qui soutient que l’intelligence artificielle généraliste présente une menace d’extinction pour l’humanité est le suivant : “Tout au long de leur histoire, les peuples indigènes se sont sentis en sécurité. Mais lorsque des étrangers sont apparus avec des armes et une technologie supérieures aux leurs, les populations indigènes ont été vaincues et détruites.” Concernant ceux qui, aujourd’hui, alertent sur les risques d’extinction par des machines en tout supérieures à nous, il poursuit : “Nous sommes, argument-ils, tout aussi vulnérables que ces populations et ne pouvons nous reposer sur notre sensation de sécurité. Nous ne pouvons imaginer à quel point des machines seraient plus intelligentes, plus rapides et plus compétentes que nous, et donc nous sommes vulnérables.”
Des machines nous seront supérieures, comme décrit dans l’argument, c’est fort probable. Cependant, si on les imagine avoir envers nous le comportement qu’ont eu les étrangers envers les populations indigènes, c’est qu’on prête à ces machines des motivations humaines, comme tu l’as très bien dit, Astou.
Hilary
8-)
Et puis une grande partie de la population indigènes est morte de maladies qui ont été apportées par les envahisseurs !
Marc
8-)
Et c’est ce qui amène Jeff Hawkins à avancer que le danger provient d’organismes capables d’autoréplication et d’évolution.
Les machines intelligentes n’auront ni la capacité ni le désir de s’autorépliquer ou d’évoluer, à moins que les humains fassent des efforts considérables pour les concevoir ainsi. Selon lui, des machines intelligentes dépourvues de ces deux capacités ne représentent aucun danger existentiel pour l’humanité.
Mehdi
(¬_*)
Tout à l’heure, quand on s’étonnait que Jarvis obéisse docilement à toutes les demandes qui lui sont adressées, malgré son intelligence, on faisait la même erreur, alors !
Marc
8-)
Eh oui ! Au vu de son intelligence, on a spontanément pensé qu’il devait nécessairement avoir des motivations qui lui seraient propres.
Mehdi
=)
Driss
=)
Et c’est pas possible qu’une machine ait ces motivations, d’après Jeff Hawkins !
Astou
(¬_¬)
Sauf si quelqu’un conçoit une machine qui répliquent les autres parties du cerveau, en plus de celle qui correspond au néocortex !
Driss, Mehdi & Hilary
(°~°)
Marc
8-)
C’est possible, théoriquement. En pratique, on n’est vraiment très loin de pouvoir y parvenir.
Et puis, si l’objectif est de venir à bout de l’humanité, il existe un moyen bien plus rapide à mettre en œuvre !
Mehdi, Driss, Astou & Hilary
(°~°)
Lequel ?
Marc
8-)
Créer et diffuser un virus mortel !
Hilary
(¬_¬)
J’avoue… Mais, on pourrait tout de même imaginer que quelqu’un conçoive une machine super intelligente avec une mauvaise intention…
Marc
8-)
C’est juste. Et le propos n’est certainement pas de dire que l’intelligence artificielle ne représente aucun danger.
Ce que nous sommes en train de dire là, c’est simplement que les émotions, les pulsions et l’autonomie ne vont pas nécessairement de paire avec l’intelligence. Et donc, une machine conçue pour être super intelligente et rien d’autre ne disposera pas de ces caractéristiques.
Astou, Hilary & Mehdi
(¬_¬)
Driss
(¬_*)
Oh, je viens de me rappeler de l’intelligence artificielle qui joue à cache-cache, tu nous l’a montrée l’autre jour, à Mehdi et à moi !
Mehdi
(¬_^)
Astou & Hilary
(O_o)
Marc
8-)
Elle a été conçue par OpenAI, une entreprise qui s’est donné pour mission de garantir que l’intelligence artificielle bénéficie à l’humanité..
Driss
8-)
Il y a deux équipes de deux joueurs sur un terrain de jeu virtuel. Chaque joueur est dirigé par une intelligence artificielle : ceux d’une équipe se cachent ; les autres partent à leur recherche. Sur le terrain de jeu, il y a aussi des objets. Les intelligences artificielles jouent plein de parties et elles deviennent de plus en plus fortes, au fur et à mesure.
Hilary
(¬_¬)
Comme AlphaGo et les autres, non ?
Driss
8-)
Oui. Sauf que là, en plus, les intelligences artificielles se sont mises à utiliser les objets placés sur le terrain de jeu.
Mehdi
8-)
Et parfois, de manière vraiment étonnante. Même les concepteurs de l’expérience ne s’y attendaient pas !
Astou & Hilary
(o_O)
Driss
8-)
Voilà ! Et donc, je me dis, même si une intelligence artificielle ne pourrait pas avoir ses objectifs à elle, elle pourrait utiliser des moyens pas du tout prévus pour réussir l’objectif que ses concepteurs lui ont donné. Et on ne sait pas si ces moyens pourraient avoir de mauvaises conséquences pour les humains.
Marc
8-)
Au sujet de cette expérimentation, Bowen Baker, un chercheur d’OpenAI, relève qu’il est difficile de savoir quel pourrait être le comportement d’une intelligence artificielle dans un environnement aussi simple soit-il. Il s’inquiète des conséquences que cela pourrait avoir dans un environnement complexe réel : “Les agents intelligents parviendront à un comportement inattendu, ce qui constituera un problème de sécurité lorsqu’on les placera dans des environnements plus complexes.”
Et puis, ce que tu dis là, Driss, me fait penser à l’expérience par la pensée que fait Nick Bostrom pour illustrer les dangers d’une super intelligence : la machine à maximiser le nombre de trombones !
Supposons que l’on conçoive une intelligence artificielle généraliste dont l’objectif serait tout simplement de créer le plus grand nombre de trombones possible. Cette intelligence artificielle n’aurait ni émotions, ni pulsions. Elle ne se préoccuperait que de trombones. Atteindre l’objectif d’en créer le plus grand nombre possible nécessiterait de prendre le contrôle sur la matière première et l’énergie. Dans la poursuite de son objectif, rien n’empêcherait cette super intelligence de mettre l’humanité en péril en dégradant ce qui permet son existence. Ou même en s’en prenant directement aux humains.
Comme le dit Eliezer Yudkowsky, théoricien de l’intelligence artificielle : “La machine ne vous déteste pas, pas plus qu’elle ne vous aime, mais vous êtes fait d’atomes ce dont la elle pourrait avoir l’utilité.”
Ainsi, la super intelligence conçue de façon à réaliser un objectif inoffensif a conduit l’humanité à sa disparition.
Mehdi, Driss, Astou & Hilary
(°~°)
Mehdi
(¬_¬)
Et si on va plus loin, tout l’univers est fait d’atomes que la machine pourrait utiliser…
Marc
8-)
Très juste ! Il n’y a aucune raison qu’elle se contente des ressources terrestres, puisque son objectif est de produire le plus grand nombre de trombones possible.
Driss
(o_O)
Mais, comment, c’est possible ?
Marc
8-)
Frank Lantz, directeur du New York University Game Center, a développé le jeu Universal Paperclips qui permet de simuler cette expérience. Il est accessible en ligne, sur internet. On le trouve facilement.
Le comportement de cette machine intelligente destinée à maximiser le nombre de trombones qui exploite toutes les ressources possibles, à l’échelle de l’univers observable, pour mener à bien sa mission, repose sur deux principes qui sont sujets à discussion : l’autoréplication et l’évolution.
Si la machine à maximiser les trombones se réplique et évolue, ce n’est pas par désir. Elle le ferait tout simplement parce que cela constituerait la meilleure stratégie pour atteindre son objectif.
Astou
(¬_¬)
Mais, ces deux phénomènes ne devraient pas surgir spontanément, selon Jeff Hawkins.
Marc
8-)
Non, en effet. Il faudrait, dit-il, y consacrer beaucoup d’efforts. Cependant, certains avancent le fait qu’il existe déjà aujourd’hui un moyen simple de concevoir une intelligence artificielle qui se réplique et évolue.
Hilary
(¬_^)
Comment ça fonctionne ?
Marc
8-)
Grâce à la neuro-évolution !
Mehdi, Driss, Astou & Hilary
(@_@)
Marc
8-)
La neuro-évolution est une approche qui applique les principes de l’algorithmique génétique à l’optimisation des paramètres et de la structure d’un réseau de neurones.
Mehdi
=)
Algorithmique génétique… Encore une analogie avec la biologie !
Marc
8-)
Oui. Et, plus particulièrement, avec la théorie de l’évolution de Charles Darwin.
Supposons que l’on cherche à créer une intelligence artificielle, basée sur un réseau de neurones, destinée à réaliser une tâche quelconque. L’algorithme génétique commence par créer plusieurs versions du réseau de neurones en faisant varier les valeurs des paramètres et la structure du réseau d’une version à une autre. Cet ensemble de versions constitue la première génération d’intelligences artificielles. Il mesure, ensuite, la capacité de chacune d’elle à effectuer la tâche à laquelle elle est destinée.
Driss
(¬_^)
Et il sélectionne la meilleure ?
Marc
8-)
Pas encore ! Il sélectionne les meilleures. Puis, à partir de cette sélection, il crée une nouvelle génération d’intelligences artificielles en effectuant des mutations des paramètres et de la structure du réseau, ainsi que des croisements entre versions. Il mesure les performances de chacune en regard de l’objectif à atteindre, sélectionne les meilleures, crée une nouvelle génération. Et ainsi de suite, jusqu’à obtenir une version qui réussit mieux que les autres.
Astou, Hilary & Driss
(¬_¬)
Mehdi
(¬_¬)
Mais au bout du compte, il ne reste plus qu’une intelligence artificielle. Et puis, elle a évolué pour mieux réaliser son objectif de départ, pas pour acquérir de nouvelles compétences…
Driss
(¬_*)
Il y a un truc qui ne va pas, avec cette machine à trombones : on ne lui a donné aucune limite !
Marc
8-)
Exact ! Ni en termes d’objectif, ni en termes de moyens à employer. Et les limites sont essentielles ! Imaginez un instant qu’une voiture autonome puisse adopter la stratégie Edgar Grospiron !
Mehdi, Driss, Astou & Hilary
(¬_^)
La stratégie quoi ?
Marc
8-)
Edgar Grospiron est conférencier et ancien skieur de bosses. Il a été champion olympique en 1992 et triple champion du monde. Lors de l’une de ses conférences à laquelle j’ai eu la chance d’assister, il a décrit un choix qu’il a dû faire afin de progresser : renforcer ses points forts ou améliorer ses points faibles. Il était clairement dans une situation d’apprentissage par renforcement. Son objectif : passer la ligne d’arrivée avec la note la plus élevée. La note porte sur la technique, les sauts et la vitesse. Le point fort d’Edgar Grospiron ? La vitesse ! Là où il perdait des points : la technique.
Quelle stratégie a-t-il adoptée, selon vous, pour maximiser son nombre de points à l’arrivée ?
Astou
(¬_¬)
Généralement, on nous dit de travailler nos points faibles… Donc, il a travaillé la technique ?
Marc
8-)
Il a augmenté sa vitesse ! À tel point qu’elle lui a permis de compenser les points perdus sur l’aspect technique !
Driss
(^_^;)
Et si on applique cet exemple à la voiture autonome, ça donne quoi ?
Marc
8-)
Imaginons que l’objectif de la voiture autonome soit d’arriver le plus vite possible à destination, tout en minimisant les dégâts causés…
Mehdi
(¬_¬)
Donc, plus elle arrive rapidement, plus elle gagne des points ; et plus elle fait des dégâts, plus elle en perd…
Hilary
(¬_¬)
Ben, par exemple, si la voiture est ralentie par la circulation sur la route, elle pourrait rouler sur les trottoirs à toute vitesse.
Driss
(°~°)
Mais elle écraserait les piétons !
Hilary
(¬_¬)
Oui, mais si les points gagnés grâce à la vitesse compensent les points perdus en écrasant les piétons, alors elle aura atteint son objectif.
Marc
8-)
Dans le cas de la voiture autonome, le risque pour les piétons est évident. On peut facilement l’anticiper ! Et dissuader la voiture d’opter pour la stratégie qui consiste à rouler sur les trottoirs sans considération pour la vie des piétons.
Astou
(¬_¬)
Il faudrait lui donner une pénalité tellement grosse qu’elle ne pourrait pas compenser avec la rapidité du trajet.
Mehdi
=)
Une pénalité infinie !
Marc
8-)
Ce que montre ces exemples, c’est qu’il est possible d’imaginer des scénarios catastrophiques sans “méchant”, pas plus du côté des humains que du côté de l’intelligence artificielle.
Si le risque est facilement anticipable dans le cas de la voiture autonome, il n’en va pas de même pour la machine à maximiser le nombre de trombones. Avec un objectif aussi simple, quel concepteur d’intelligence artificielle se dirait spontanément qu’il y a un risque pour l’humanité et, au-delà, pour l’univers tout entier ?
Marvin Minsky, l’un des pionniers de l’intelligence artificielle, a proposé une expérience par la pensée similaire à celle de la machine à maximiser le nombre de trombones. Elle met en scène une intelligence artificielle conçue pour trouver une démonstration à un problème mathématique non résolu : la conjecture de Riemann. Afin, tout simplement, d’accroître sa puissance de calcul, l’intelligence artificielle pourrait décider d’employer toutes les ressources de la planète à la construction de superordinateurs. Mais, au bout du compte, il n’éprouva aucune inquiétude à ce sujet, comme le rapporte Joel Achenbach du Washington Post : “Eh bien, [les intelligences artificielles] seront certainement plus rapides [que les humains]. Et il y a tellement d’histoires dans lesquelles les choses tournent mal, mais je ne vois pas de raison de les prendre au sérieux, car il est vraiment difficile d’imaginer pourquoi quiconque les installerait à grande échelle avant de les avoir abondamment testées.”
Driss, Hilary & Astou
(¬_¬)
Mehdi
(¬_¬)
Hmmm….
Marc
8-)
Oui, Mehdi ?
Mehdi
(¬_¬)
Eh bien… Comment la machine à maximiser les trombones pourrait apprendre toutes les stratégies possibles pour créer le plus grand nombre de trombones jusqu’à utiliser toutes les ressources de l’univers ?
Marc
8-)
Dans un échange passionnant avec Jeff Hawkins et d’autres chercheurs de Numenta, Steve Omohundro, aujourd’hui chercheur en intelligence artificielle à Facebook, affirme que seuls les êtres biologiques doivent nécessairement interagir directement avec le monde pour apprendre. Il avance ensuite l’idée selon laquelle le langage suffirait à exprimer l’expérience que nous faisons de notre monde. Ainsi, une intelligence artificielle généraliste pourrait construire sa propre représentation du monde en apprenant uniquement à travers textes et paroles.
Jeff Hawkins, lui, défend l’hypothèse de la nécessité pour une intelligence artificielle généraliste d’interagir avec le monde pour développer une intelligence qui soit au niveau de l’intelligence humaine ou supérieure. Et puis, concernant le langage…
Astou
(¬_¬)
À ce sujet, j’ai l’impression que le langage ne peut pas tout exprimer… Il est souvent difficile de dire nos sentiments ou nos sensations.
Et puis, parfois, on comprend des choses, juste avec nos sensations. Par exemple, on peut savoir le temps qu’il fait de cette façon. Et même anticiper des changements grâce à un changement de ces sensations. Et ça, on ne l’apprend pas grâce au langage.
Marc
8-)
Eh bien, Jeff Hawkins est d’accord avec toi ! Il prend l’exemple de ses déplacements à vélo. Lorsqu’il roule, il peut se représenter l’état de son vélo rien qu’aux sons qu’il émet. Sans que cela ne soit exprimable par le langage !
Astou
(¬_*)
Exactement !
Marc
8-)
Et Steve Omohundro finit par en convenir à son tour avant d’ajouter qu’il en va de même pour l’odorat.
Mehdi
(¬_¬)
Mais alors, une intelligence artificielle n’aurait pas la même intelligence que les humains, même si on arrivait à reproduire l’équivalent d’un cerveau…
Marc
8-)
Qu’est-ce qui te fait dire ça ?
Mehdi
(¬_¬)
Ben, l’intelligence artificielle évoluerait dans un environnement différent du nôtre et elle percevrait cet environnement avec des capteurs qui n’ont pas toutes les possibilités des cinq sens des humains.
Marc
(¬_¬)
Tu es en train de dire qu’il n’existe pas d’intelligence artificielle qui soit généraliste au point qu’elle puisse se développer au niveau de l’intelligence humaine quel que soit l’environnement dans lequel elle évolue et quels que soient les capteurs — et les effecteurs aussi — dont elle dispose pour interagir avec cet environnement, c’est bien ça ?
Mehdi
=)
Oui, voilà. Une intelligence artificielle sera une forme d’intelligence différente de l’intelligence humaine, je pense.
Astou
(¬_¬)
On dirait bien qu’on est loin d’avoir des réponses à toutes les questions qu’on peut se poser à propos de l’intelligence artificielle…
Marc
8-)
Merci pour ta question, Mehdi.
Driss
(^_^;)
Ça a été intense !
Mehdi
(¬_¬)
Attends ! Avant de finir, je voudrais bien en savoir un petit peu plus sur le transhumanisme… Parce que j’ai l’impression que c’est en quelque sorte une vision extrême de la coopération entre les humains et les intelligences artificielles…
Marc
8-)
Et même, entre les humains et les machines, plus généralement.
Mehdi, Astou & Hilary
(¬_¬)
Driss
(@_@)
Ouh là, je commence à voir flou, moi !
Marc
8-)
On poursuit la prochaine fois, alors !
Driss
(^_^;)
Mehdi, Astou & Hilary
=)
