L’Intelligence Artificielle Racontée à mes Neveux et Nièces (6)
J’ai tout de même un peu peur, j’avoue : l’obsolescence de mon cerveau n’est-elle pas d’ores et déjà programmée ? (3)
(Mehdi, 18 ans, avec Driss, 15 ans, et Astou et Hilary, 18 ans)
3ème partie : Évolution
Où l’on définit ce qu’est le transhumanisme et où l’on explore quelques-unes des conséquences des principes prônés par ce courant de pensée.
Mehdi
(¬_¬)
Donc, je disais la dernière fois que j’aimerais bien en savoir un petit peu plus sur le transhumanisme…
Marc
8-)
Qu’aimerais-tu savoir à ce sujet ?
Mehdi
(¬_¬)
On a dit, lors du précédent épisode, que ça donnait l’impression d’être une vision extrême de la coopération entre les humains et les intelligences artificielles. Et même avec les machines, plus généralement.
Je voudrais bien savoir ce que c’est, plus précisément. Et aussi, quel est le rapport avec la théorie de la singularité technologique ?
Marc
8-)
Le transhumanisme est un courant de pensée qui défend l’idée d’une transformation de l’humain en le dotant de capacités physiques, cognitives, sensorielles et émotionnelles bien supérieures à celles des humains actuels. Cette transformation aboutirait à l’apparition d’un nouvel être, le transhumain.
Mehdi
(¬_¬)
Grâce au progrès technique et scientifique, j’imagine…
Marc
8-)
C’est ça ! Grâce au progrès technoscientifique en intelligence artificielle, notamment, mais aussi en robotique, en nanotechnologie, en biotechnologie, en sciences cognitives.
Hilary
(¬_¬)
Alors les singularitaristes, ils doivent penser que ça va être possible très prochainement puisque, si la singularité technologique survient, toutes les sciences progresseront à une vitesse inimaginable.
Marc
8-)
Et nombre de transhumanistes sont aussi singularitaristes ! C’est le cas de Ray Kurzweil, le plus médiatique d’entre eux.
Hilary
(¬_¬)
Et les singularitaristes, eux, souhaitent que la singularité technologique survienne très vite. Ils ne la craignent pas du tout.
Marc
8-)
Dans son livre The Singularity Is Near, Ray Kurzweil décrit son utopie avec force lyrisme : “Nous voulons devenir l’origine du futur, changer la vie au sens propre et non plus au sens figuré, créer des espèces nouvelles, adopter des clones humains, sélectionner nos gamètes, sculpter nos corps et nos esprits, apprivoiser nos gènes, dévorer des festins transgéniques, faire don de nos cellules souches, voir les infrarouges, écouter les ultrasons, sentir les phéromones, cultiver nos gènes, remplacer nos neurones, faire l’amour dans l’espace, débattre avec des robots, pratiquer des clonages divers à l’infini, ajouter de nouveaux sens, vivre vingt ans ou deux siècles, habiter la Lune, tutoyer les galaxies.”
Mehdi, Driss, Astou & Hilary
(O_o)
Marc
8-)
Enfin, lorsque l’on dit que tous les transhumanistes singularitaristes ne voient aucun danger dans l’avènement de la singularité technologique, ce n’est pas tout à fait exact. Elon Musk, lui, la craint. Il voit dans le transhumanisme une voie de secours qui permettrait à l’humanité de perdurer : “La fusion avec une intelligence artificielle est le scénario qui semble être le meilleur. Si tu ne peux pas la battre, rejoins-là !”
Mehdi
(¬_¬)
Donc, on est obligés d’évoluer vers le transhumanisme si on veut survivre, selon lui…
Driss
(¬_¬)
C’est moins joyeux que le programme de Ray Kurzweil…
Marc
8-)
Notre futur inéluctable : une symbiose résignée avec l’intelligence artificielle ! Il y a, en effet, plus enthousiasmant…
Astou
(¬_¬)
Il y aurait moyen de créer une secte avec les programmes de Ray Kurzweil et d’Elon Musk.
Marc
8-)
Clairement ! La promesse d’un monde meilleur tout comme celle d’être sauvés de l’extinction sont des terreaux fertiles dans lesquels peuvent se développer des sectes.
Il existe cependant un courant transhumaniste qui ne porte aucun intérêt aux prédictions sur le futur technologique. Les transhumanistes technoprogressistes se concentrent sur l’idée de l’amélioration de la condition humaine grâce au progrès scientifique. Ils en étudient l’intérêt, les risques, les limites, les moyens à mettre en œuvre pour y parvenir à long terme.
Gilbert Hottois, philosophe des techno-sciences, défend lui aussi l’idée que l’humain est un cyborg naturel. Il en découle que l’humain serait un être technique. Le langage lui-même ne serait qu’une technique parmi d’autres. Et la technique, nous dit-il, doit être au service de notre droit individuel et collectif à nous modifier, à évoluer.
Driss
(¬_¬)
L’humain, il serait amélioré de quelles façons, selon lui ?
Marc
8-)
Parmi les améliorations évoquées, on trouve la capacité à voir dans l’obscurité, la disparition de la fatigue, une mémoire prodigieuse, des capacités d’apprentissage décuplées, une plus grande empathie grâce au contrôle des émotions et des pulsions…
Driss
=)
On aurait tous des super-pouvoirs, en fait !
Marc
8-)
C’est un peu ça, oui. Et bien plus puissants que ceux que nous confèrent le Deep Learning, selon Andrew Ng !
Driss, Astou & Hilary
=D
Mehdi
(¬_¬)
Est-ce que tout le monde serait obligé de se modifier avec ces améliorations ?
Marc
8-)
Les transhumanistes assurent que cela relèverait du choix de chacun.
Mehdi
(¬_¬)
Ça serait difficile de ne pas le faire si la plupart des gens le font. Parce qu’on se sentirait exclu, parce qu’on n’arriverait peut-être pas à trouver un travail…
Hilary
(¬_¬)
C’est vrai, ça !Aujourd’hui, on n’existe presque pas sans téléphone portable ! En tout cas, dans notre société.
Mehdi
(¬_¬)
D’un autre côté, tout le monde ne pourrait pas se payer ces améliorations ou pas la même qualité et il y aurait là aussi des inégalités.
Astou
(¬_¬)
Et puis, le futur transhumaniste sera-t-il vraiment meilleur pour les humains ? N’y a-t-il pas des risques que ça n’aille pas dans la direction d’une amélioration ?
Marc
8-)
Un monde meilleur, c’est la promesse utopique de nombreux promoteurs du transhumanisme.
Gilbert Hottois, toujours dans son article Humanisme, Transhumanisme et Posthumanisme, met toutefois en garde : “Le paradigme évolutionniste est un paradigme “dangereux” : il peut être interprété et appliqué de façon simpliste, brutale, aveugle, insensible et conduire dans un monde posthumain de fait inhumain, barbare.”
Driss
(¬_¬)
C’est comme de dire que l’intelligence artificielle ne peut pas être dangereuse par elle-même, mais que ce sont les applications que pourraient en faire les humains qui causeraient de graves dégâts, potentiellement.
Marc
8-)
Oui, c’est bien ça. En fonction de la façon dont il la conçoit aussi. Ça rejoint l’argument de l’impossibilité pour une machine intelligente d’accéder à l’autonomie dont nous avons discuté la fois précédente
Driss
(¬_*)
Ah oui !
Marc
8-)
Gilbert Hottois poursuit en donnant les conditions qui permettront d’aller dans le sens d’une véritable amélioration de la condition humaine : “Tout se joue donc autour de la capacité de préserver l’orientation vers le bien, vers le mieux, cette générosité transhumaniste qui s’exprime à travers la tolérance, le respect de la diversité et du pluralisme, le respect de la personne en un sens plus large que homo sapiens, la sollicitude non spéciste à l’égard de toute entité capable de sentir, de souffrir, de s’épanouir, le refus de l’oppression et de la souffrance évitable, le refus de la clôture…”
Astou
(¬_¬)
La personne en un sens plus large que homo sapiens…
Hilary
(¬_¬)
Ça paraît idéaliste. Voire utopique…
Marc
8-)
Une question, Astou ?
Astou
(¬_¬)
Ah ? Non, je réfléchissais à haute voix…
Marc
8-)
Ça paraît bien idéaliste, effectivement. Mais ce n’est pas tout. Les promesses d’évolution vont plus loin encore. La plus marquante d’entre elles est celle de l’arrêt du vieillissement et la capacité à se régénérer indéfiniment en comblant toute défaillance biologique par une prothèse technologique.
Hilary, Mehdi & Driss
(o_O)
Astou
(O_o)
On deviendrait immortel, alors…
Marc
8-)
Presque. On ne pourrait plus mourir de vieillesse, ni de maladie. Nous préserver le mieux de la souffrance et de la mort serait un but que l’éthique nous commanderait de suivre.
Astou
(¬_¬)
Comme la médecine ?
Marc
8-)
D’une certaine façon. À la différence que la médecine s’attache à guérir les humains de maladies ou à pallier des handicaps. Pas à augmenter nos capacités.
Mehdi
(¬_^)
Pourtant, aujourd’hui, on fait déjà des choses qui ressemblent à ce que souhaitent les transhumanistes. Les prothèses commandées par le cerveau, par exemple !
Hilary
(¬_*)
Et puis, on a bien créé des mains bioniques pour permettre à un pianiste de rejouer du piano !
Marc
8-)
Pas des mains. Des gants bioniques. Et dans chacun de ses cas, ses apports technologiques sont à visée thérapeutique.
Driss
(¬_^)
Et le dopage, c’est pas une forme d’augmentation des capacités humaines ?
Marc
8-)
Si tout à fait. Cependant, cette pratique, tu le sais, est interdite.
Driss
(^_^)
Et le gros bol de café que tu bois tous les matins, il est interdit, lui aussi ?
Marc
(^_^;)
Tu m’as démasqué, Driss ! Je suis un humain chimiquement augmenté !
Driss
(^_^)
Au moins, pour le sport, t’es clean !
Marc
(^_^)
Merci de le souligner !
Hilary
(¬_^)
Je me demande pourquoi on fait tout ça… Pourquoi on ne laisserait pas l’évolution naturelle s’occuper de nous augmenter?
Marc
8-)
L’évolution naturelle, selon la thèse de Richard Dawkins, est un principe qui consiste en l’amélioration de la capacité d’êtres vivants à se reproduire, dans le but de perpétuer leur gènes, de génération en génération. Les êtres humains, tout comme tous les autres êtres vivants, ne seraient alors que des machines biologiques programmées par les gènes lancés dans une compétition acharnée pour leur survie.
Hilary
(¬_^)
Et donc, seuls ceux qui auront su créer les machines biologiques les plus adaptées survivront ?
Mehdi
(¬_*)
C’est comme la théorie de l’évolution de Darwin, mais à l’échelle des gènes plutôt qu’à celle des espèces vivantes !
Marc
8-)
C’est bien ça. Alors que les humains, eux, cherchent à améliorer les conditions de leur existence individuelle dont les gènes, et donc l’évolution naturelle, ne se soucient absolument pas.
Astou
8-)
L’échelle de temps est différente aussi. L’évolution naturelle se fait sur des milliers ou même des millions d’années. Alors que nous, on veut améliorer notre condition tout de suite.
Mehdi
(¬_^)
Le Winter Soldier, dans The Avengers, c’est un transhumain ou pas ? Parce qu’à l’origine, son bras bionique, c’est une prothèse qui remplace le bras qu’il a perdu. Donc, on le lui a greffé pour le soigner.
Marc
8-)
Certes ! Cependant, on ne s’est pas contenté de remplacer le bras biologique perdu par un bras mécanique similaire en capacité.. On lui en a greffé un qui a considérablement augmenté sa force physique. Cela va bien au-delà de l’intervention à visée thérapeutique.
Driss
(¬_¬)
Qu’est-ce que ça change, que ce soit thérapeuthique ou pas ?
Mehdi
(¬_*)
Ah, je crois savoir ! La médecine donne des limites à l’amélioration de la condition humaine par la technologie. Les transhumanistes, non.
Marc
8-)
Oui ! Du point de vue de la médecine, les améliorations technologiques ne visent en aucun cas à améliorer les performances d’un humain. Elles doivent se limiter à soigner. L’objectif poursuivi, en quelque sorte, est de ramener à une humanité pleine les personnes atteintes de déficiences.
Le transhumanisme, en appelant à augmenter les capacités des humains par la technologie, créerait une autre sorte d’humanité. Une transhumanité.
Driss
(¬_*)
Et comme le bras du Winter Soldier lui a été greffé, pas juste pour remplacer son bras perdu, mais aussi pour augmenter ses capacités, alors le Winter Soldier est un transhumain !
Astou
(¬_*)
En plus, ses capacités ont été améliorées chimiquement. C’est doublement un transhumain.
Hilary
(¬_*)
Ah mais, du coup, c’est pour ça que le dopage est interdit dans le sport !
Mehdi
(¬_^)
Ah ?
Hilary
(¬_*)
Ben oui ! Parce que la compétition sportive, c’est pour les humains. Mais les sportifs dopés seraient des transhumains, des humains aux capacités augmentées à un niveau beaucoup plus élevé qu’avec seulement l’entraînement. Et, du coup, la concurrence serait déloyale.
Driss
=)
Comme la Team Evil dans Shaolin Soccer !
Mehdi
=)
Comme les romains dans Astérix aux Jeux Olympiques !
Astou
(¬_¬)
Mais alors, Obélix…
Mehdi
(¬_¬)
Et Luffy…
Marc
8-)
Voilà ! Et les transhumanistes ne s’imposent effectivement aucune limite dans le champ des améliorations. C’est la raison pour laquelle ils font la promotion de la fusion entre les humains et les machines. Et même du téléchargement des humains dans un réseau informatique !
Astou, Hilary & Mehdi
(o_O)
Driss
(O_o)
Le téléchargement dans un réseau informatique… Comme dans Matrix ?
Marc
8-)
Presque. Ce serait un peu comme si on était dans une simulation informatique, sauf que ce ne serait pas une simulation mais notre monde réel. De plus, nous n’aurions pas d’existence corporelle.
On pourrait voir ça comme une tentative d’échapper à la servitude que nous imposent nos gènes.
Hilary
(¬_¬)
Ready Player One aussi se déroule dans un environnement de réalité virtuelle. Cette fois, c’est un jeu et les participants savent qu’ils évoluent dans une simulation.
Astou
(¬_¬)
C’est ce que veut faire Mark Zuckerberg, non, avec le métavers ?
Driss
(@_@)
Le méta quoi ?
Astou
8-)
Le métavers ! Un monde créé dans un environnement de réalité virtuelle.
Driss
(¬_¬)
Mais un monde comment ?
Marc
¯\_(ツ)_/¯
Ça, on n’en sait trop rien pour l’instant.
Facebook — ou plutôt Meta, le nom de la nouvelle entreprise qui englobe Facebook, Instagram, Whatsapp et Oculus — le décrit ainsi : “Une nouvelle phase d’expériences virtuelles interconnectées utilisant des technologies telles que la réalité virtuelle et la réalité augmentée. Au cœur de son cœur se trouve l’idée qu’en créant un plus grand sentiment de présence virtuelle, l’interaction en ligne peut devenir beaucoup plus proche de l’expérience d’interagir en personne.”
Astou
(¬_¬)
Il y a très certainement de gros intérêts économiques derrière ce projet…
Mehdi
(¬_¬)
J’ai lu que des marques préparent déjà leur arrivée dans le métavers.
Hilary
(¬_¬)
Ça ne sera peut-être juste qu’un réseau social dans un univers virtuel…
Marc
8-)
N’oublions pas, effectivement, que le modèle économique de Facebook repose sur la publicité. Very McIntosh, conférencière et chercheuse en réalité virtuelle et augmentée, analyse ainsi la volonté de l’entreprise de créer un métavers : “Une partie de la raison pour laquelle Facebook est si fortement investi dans la réalité virtuelle et la réalité augmentée est que la granularité des données disponibles lorsque les utilisateurs interagissent sur ces plateformes est un ordre de grandeur plus élevé que sur les médias sur écran.”
Astou
(¬_¬)
Du coup, il pourrait encore mieux connaître nos goûts et nos envies, et nous envoyer des publicités qui y correspondent.
Hilary
(¬_¬)
Mais ça n’existe pas déjà depuis longtemps ?
Marc
8-)
Tu as raison, Hilary. Meta n’est pas du tout précurseur dans ce domaine. Second Life, créé par Linden Labs, existe depuis près de vingt ans. Minecraft et Fortnite sont d’autres métavers.
Driss
(¬_¬)
On est quand même très loin du téléchargement d’humains dans un réseau informatique.
Marc
8-)
Oui, parce que notre avatar, dans le monde virtuel du métavers, ne serait guère plus qu’une sorte de projection holographique de notre personne. Or, le téléchargement impliquerait le renoncement à notre corps. Le monde virtuel deviendrait notre monde réel.
Et je ne pense même pas qu’une expérience du métavers puisse nous donner la moindre idée de ce que pourrait être une véritable vie numérique.
Mehdi
(¬_¬)
Tout de même un peu, non ?
Marc
(¬_¬)
De quelle manière ?
Mehdi
(¬_¬)
Eh bien, si le monde virtuel devenait notre monde réel, notre corps virtuel deviendrait notre corps réel.
Astou
(¬_¬)
Mais sans les mêmes caractéristiques physiques.
Hilary
(¬_*)
Sauf si on arrive à tout simuler. Comme l’odorat, le goût ou le besoin d’aller aux toilettes !
Marc
8-)
Simuler jusque dans les moindres détails notre vie réelle pourrait être vu comme une limitation très forte aux possibilités que pourrait offrir une vie entièrement numérique.
Driss
(¬_¬)
On n’aurait plus besoin de corps, alors ?
Marc
8-)
Ce ne serait plus une nécessité. Le monde virtuel n’aurait pas non plus besoin de ressembler au nôtre.
Mehdi
(¬_^)
Marc
8-) Oui, Mehdi ?
Mehdi
(¬_¬)
Supposons qu’il soit possible de se faire numériser pour vivre dans un monde virtuel, il vaudrait mieux le faire à un moment où notre cerveau est au top de sa forme, non ? Donc, pas trop vieux. Donc, bien avant de mourir.
Astou
(¬_¬)
Où veux-tu en venir ?
Mehdi
(¬_¬)
Eh bien, par exemple, si je me fais numériser avant de mourir, j’existerais à la fois dans le monde virtuel et dans le monde réel. Ça veut dire que j’aurais deux vies différentes en même temps.
Marc
8-)
C’est juste !
Mehdi
(¬_¬)
Alors, dans ce cas, ce sera lequel, le vrai moi ? Et quand je mourrai dans notre monde, la copie qui continuera de vivre dans le monde virtuel, ce ne sera pas vraiment moi. En tout cas, ce ne sera pas la même personne.
Driss
(¬_¬)
Dans ce cas, on pourrait attendre la fin de la vie dans le monde réel pour faire vivre notre version numérisée dans le monde virtuel.
Hilary
(¬_¬)
C’est une bonne idée, ça !
Mehdi
(¬_¬)
Oui, on pourrait, mais ça ne changerait rien.
Driss, Astou & Hilary
(@_@)
Comment ça ?
Mehdi
(¬_¬)
Comment dire… Ce serait comme si, dans un jeu vidéo, tu échoues à un certain moment et tu redémarres à la dernière sauvegarde que tu as faite. Ce n’est plus vraiment la même partie. C’est une nouvelle partie que tu commences à un point donné de la précédente. Et, en plus, en ayant perdu tout ce que tu avais gagné entre la sauvegarde et la fin de la partie précédente.
Hilary, Astou & Driss
(o_O)
Marc
8-)
Ce ne serait en effet pas la continuité de ta vie. Ce serait plutôt comme de pouvoir recommencer ta vie à partir d’un certain point dans le passé. Et, comme tu le dis, en ayant perdu tous les acquis obtenus entre le moment de la numérisation et celui du bout de ta vie.
On pourrait alors tout à fait se demander si les deux individus seraient une seule et même personne. Et sinon, lequel est toi ? Je te rejoins dans ton interrogation, Mehdi.
Mehdi, Driss & Astou
(¬_¬)
Hilary
(¬_¬)
Tout de même, cette idée, une vie entièrement numérique, elle paraît vraiment étrange…
Driss
(¬_¬)
C’est très difficile à imaginer… Ce serait comme une sorte de paradis ?
Astou
(¬_¬)
Moi, je me demande comment on ferait pour alimenter en énergie le système informatique dans lequel se trouverait le monde virtuel. Parce que déjà, ça coûterait très cher et en plus, les ressources sont limitées. Donc, pas d’immortalité possible.
Marc
8-)
À ma connaissance, la meilleure façon de s’en faire une idée est la lecture de certains romans de l’écrivain de science-fiction Greg Egan.
Diaspora, par exemple, paru en 1997. L’histoire débute en 2975. Elle décrit une humanité qui a évolué sous trois formes différentes.
Les enchairés ont fait le choix de conserver leur corps biologique. Ils s’autorisent, toutefois, à lui faire subir toutes sortes de modifications. Les gleisners se sont départis de leur corps originel et l’ont remplacé par un corps robotique. De cyborgs naturels, selon le point de vue de Gilbert Hottois, ils ont évolué sous forme de cyborgs technologiques. Enfin, les citoyens des polis, quant à eux, ont choisi une existence entièrement numérique.
Le roman explore de cette façon toutes les formes d’évolution envisagées par le courant transhumaniste : l’amélioration par la technologie, la fusion avec la technologie, la vie numérique.
Il ouvre sur une scène tout à la fois étrange et magnifique qui décrit la naissance d’un citoyen d’une polis, son éveil à la conscience, le développement de son intelligence, de ses émotions et de son sens moral.
Plus de désir de domination, plus de guerres. Le désir de connaissances reste, lui, très fort. Les habitants des polis se consacrent à l’amélioration de leur compréhension de l’univers, à travers les arts, à travers la science. Ils restent en prise avec le monde physique.
Astou
(¬_¬)
C’est très différent du paradis ou du nirvana bouddhique…
Marc
8-)
Le monde numérique des polis n’a en effet rien d’un refuge édénique. Et on s’en éloigne encore davantage lorsqu’une catastrophe naturelle cosmique menace l’humanité.
Comme le dit Gilbert Hottois dans son article Humanisme, Transhumanisme, Posthumanisme, le futur exploré par le transhumanisme ne porte pas sur le sort des humains après leur mort : “Ce futur n’est pas eschatologique, il n’aboutit pas à un autre monde surnaturel ou transcendantal, car le paradigme évolutionniste du transhumanisme est matérialiste.”
Driss
(¬_¬)
Ah ! Un mot que je ne connais pas ! Ça faisait longtemps…
Marc
8-)
Eschatologie ?
Driss
(^_^;)
Oui, voilà ! Et les autres, je suis sûr que vous ne le connaissez pas non plus, ne mentez pas !
Mehdi, Hilary & Astou
(^_^;)
Marc
8-)
Que dit le dictionnaire ?
Driss
8-)
Attends… Ah, j’ai trouvé ! Alors, pour un individu il s’agit de “l’étude des fins dernières de l’homme et du monde.”
Hilary
(¬_*)
Ah ben donc, les histoires de fin du monde, quoi !
Astou
(¬_*)
Et du devenir des hommes après que le monde aura pris fin. Dans certaines religions, par exemple, quelques élus sont promis au paradis, une sorte de monde surnaturel, immatériel.
Marc
8-)
Le futur, selon la vision transhumaniste de Gilbert Hottois, n’aura rien de commun avec ce que promettent les eschatologies de toutes sortes. S’il se situe bien à une période où l’humain n’aura alors plus grand-chose en commun avec l’humain tel qu’il existe aujourd’hui, et don à une période où l’humanité actuelle aura disparue, il est profondément matérialiste car reposant sur l’usage sans limite de la technologie.
Un autre roman remarquable de Greg Egan sur le sujet du téléchargement d’humains dans un monde virtuel est La Cité des Permutants.
L’histoire se déroule en 2045 dans un monde où les dérèglements climatiques mettent en péril l’humanité. La population s’est réfugiée dans un monde virtuel sous forme de Copies, des versions numériques de ceux qu’ils étaient dans le monde réel.
On y trouve des réponses aux questions que nous avons soulevées. Un écho, aussi, à certaines réflexions que nous nous sommes faites.
Mehdi
(¬_¬)
Dans ce monde virtuel, il n’y a que des Copies ? Pas de naissance de nouveaux individus, comme dans Diaspora ?
Marc
8-)
Que des versions numériques de personnes qui ont existé dans le monde réel, oui. Alors, oui, Hilary, certains ont choisi de simuler les fonctions corporelles. En particulier, l’urination et la défécation.
Hilary : (^_^;)
Marc : 8-) D’autres s’en détachent plus ou moins fortement, jusqu’au rejet. À propos de Peer, l’un des personnages du roman : “À quoi bon se faire numériser si c’était pour rester l’esclave d’un respect suranné de la fragilité corporelle ? Ayant triomphé de la mortalité, comment aurait-il pu continuer à vivre comme si rien n’avait changé ? Tous les instincts biologiques, toutes les idées communes sur la nature de la survie avaient été rendus absurdes […]” Ailleurs, Peer exprime son rejet du corps en l’exposant pour ce qu’il est, un simulacre : “Sans le moindre effort, il plongea sa main dans sa poitrine… et arracha son cœur. Il ressentit la séparation de sa chair… mais, bien que certains aspects de la douleur furent “réalistes”, des barrières préprogrammées les isolèrent au niveau du cerveau, une perception dépourvue d’émotion, ni même des conséquences métaboliques. Et son cœur continua de battre dans sa main comme si rien de grave ne s’était produit.”
Astou
(°~°)
Il n’y a vraiment plus de respect pour le corps, là !
Marc
8-)
Plus de respect pour un corps qui n’existe plus et dont la simulation peut apparaître comme une entrave à une évolution.
Mehdi, Driss, Astou & Hilary
(¬_¬)
Marc
8-)
Mais tous vivent dans un monde virtuel bien fragile. Son existence nécessite une grande quantité d’énergie. Et puis il se trouve dans un réseau informatique, et donc dans une infrastructure qui se trouve dans le monde réel, menacée par les dégradations climatiques. Paul Durham, son concepteur, en est bien conscient. À la recherche d’un moyen de créer un monde sûr, il crée de multiples Copies de lui-même. Ce qui l’amène à se demander si être une copie de soi, c’est toujours être soi-même.
Mehdi
(¬_^)
C’est bien quelque chose comme ça que je me demandais…
Marc
8-)
Et puis, avec l’aide de Maria, une spécialiste d’un système de simulation de biosphères régies par des lois différentes de celles du monde réel, il parvient à concevoir un univers virtuel qui ne nécessite plus de support matériel pour exister. À l’abri de tout cataclysme, les Copies pourront, dans ce nouveau monde, accéder à la vie éternelle. Tout du moins, les plus fortunées d’entre elles.
Mehdi, Driss & Astou
(¬_¬)
Hilary
(¬_¬)
Tu parles de la littérature de science-fiction comme si c’était un genre sérieux. Mais, il est surtout considéré comme un divertissement, généralement.
Marc
8-)
C’est juste. Et les adultes qui s’adonnent à ce genre et s’en délectent sont encore trop souvent perçus comme étant de doux rêveurs immatures.
Cependant, certaines œuvres de science-fiction vont bien au-delà du seul divertissement. À l’instar des romans et nouvelles de Greg Egan, elles permettent d’explorer, de façon romancée, des questions philosophiques que soulève le progrès scientifique et technologique.
Driss
8-)
Ceux d’Isaac Asimov aussi, avec les lois sur la robotique !
Marc
8-)
Très juste, Driss !
Driss
=]
Marc
8-)
Et si je parle de ces œuvres, c’est que les réponses aux questions que posent le transhumanisme se trouvent aujourd’hui bien plus souvent dans la science-fiction que dans le science.
Astou
(¬_¬)
Et, si ça se trouve, notre futur sera complètement différent de ce qu’on est capables d’imaginer aujourd’hui…
Mehdi
(¬_¬)
On a encore un peu de temps pour discuter ? Parce que je me pose d’autres questions à propos des histoires que racontent ces romans…
Marc
8-)
Bien sûr Mehdi. Les autres, vous êtes partants ?
Driss, Astou & Hilary
=)
Oui !
Mehdi
(¬_¬)
Dans La Cité des Permutants, un univers virtuel est créé à l’intérieur d’un monde virtuel. Cet univers virtuel dispose de ses propres ressources. Il ne dépend pas de celles du monde à partir duquel il a été créé. Et aussi, il est vu comme un univers réel par les Copies qui l’habitent.
Est-ce qu’on pourrait imaginer que notre univers à nous soit lui aussi virtuel et qu’il ait été créé par une autre civilisation?
Driss
(@_@)
Mais, du coup, on serait virtuels, nous aussi ?
Marc
8-)
On peut tout imaginer.
Mehdi
(¬_¬)
Je veux dire… Est-ce que ça serait possible ? Ou plutôt, quelle serait la probabilité que notre univers soit virtuel ?
Hilary
(¬_*)
Sûrement très proche de zéro !
Astou
(¬_*)
Clairement !
Marc
8-)
Selon le philosophe Nick Bostrom, elle est beaucoup plus élevée !
Driss
(¬_^)
Une chance sur cent ?
Hilary
(O_o)
T’es fou ! Ce serait énorme !
Marc
8-)
Plutôt une chance sur trois !
Mehdi, Driss, Astou & Hilary
(o_O)
Marc
8-)
Ce n’est pas une probabilité exacte, notez bien. Juste un ordre de grandeur.
Astou
(@_@)
Mais…
Hilary
(¬_¬)
Comment il arrive à cette conclusion ?
Marc
8-)
Nick Bostrom postule qu’au moins l’une des trois propositions suivantes est vraie :
La première dit que les chances qu’une civilisation parvenue à notre niveau de développement puisse éviter l’extinction avant de parvenir à la maturité technologique pour créer ce type de simulation sont négligeables.
La deuxième proposition dit que, parmi toutes les civilisations qui auraient atteint la maturité nécessaire à la création de mondes virtuels, quasiment aucune ne porterait d’intérêt à la simulation d’esprit comme les nôtres.
Enfin, la troisième dit que nous vivons presque certainement dans une simulation.
Astou
(¬_¬)
Si la première est vraie, ça voudrait dire que toutes les civilisations arriveraient à un point de leur développement qui les conduirait à créer une technologie qui causerait leur disparition…
Mehdi
(¬_¬)
Comme ça pourrait arriver pour nous avec l’énergie nucléaire. Et c’est aussi ce que craignent beaucoup de ceux qui croient qu’une singularité technologique va bientôt arriver.
Marc
8-)
C’est bien ça. Mais, si elle est fausse, alors une certaine proportion des civilisations qui se trouvent à notre niveau de développement atteindront une maturité technologique suffisante pour la création des simulations.
Driss
(¬_¬)
Comment la deuxième pourrait-elle être vraie ?
Marc
8-)
Il faudrait pour cela que quasiment toutes les civilisations arrivées à maturité technologique renoncent à créer une simulation dans laquelle les êtres que nous sommes pourraient évoluer.
Mehdi
(¬_¬)
Mais, si elle est fausse, alors une bonne partie de ces civilisations utiliseront des ressources pour créer ces simulations.
Marc
8-)
Et si les deux premières sont fausses, la troisième proposition est nécessairement vraie. Et donc, tout notre existence se déroulerait dans une simulation.
Hilary
(¬_¬)
Ça changerait quoi, pour nous, si c’était le cas ?
Mehdi
(¬_¬)
Moi, je pense que ça ne changerait rien. Parce que pour nous, le monde dans lequel on vit est réel, peu importe qu’il soit une simulation créée par une civilisation hypothétique.
Astou
(¬_¬)
Ce que ça changerait, c’est qu’on aurait la certitude d’avoir au moins un créateur.
Driss
(^_^)
Même les religions deviendraient technologiques, alors !
Astou
(¬_¬)
Est-ce que tout le monde aurait une religion, dans ce cas ?
Marc
8-)
Pas nécessairement. Une religion ne repose pas uniquement sur la croyance en un créateur. Elle repose aussi sur l’interprétation de la volonté de ce créateur et sur l’attitude à adopter pour s’y conformer. Avec, à la clé, la promesse d’une vie meilleure, que ce soit dans notre monde ou après notre mort.
Dans une simulation, certains individus pourraient voir des signes interprétables comme la manifestation de la volonté de la civilisation qui aurait créé cette simulation. D’autres n’y verraient rien de tel. Rien ne dit, après tout, qu’une civilisation créatrice entrerait nécessairement en contact avec sa simulation.
Hilary
(¬_¬)
Elle n’aurait peut-être même pas de volonté particulière au sujet du comportement qu’on devrait avoir.
Driss
(¬_¬)
Donc, Astou et Mehdi ont raison. Le seul changement, c’est qu’on serait sûrs d’avoir un créateur.
Marc
8-)
Ou plusieurs. Ça pourrait être un travail d’équipe. Et même ça, ce ne serait pas si sûr, à la réflexion…
Mehdi, Driss, Astou & Hilary
(o_O)
Oh !
Marc
8-)
À supposer que nous vivions dans une simulation, il se pourrait que ses créateurs se soient contentés de créer des gènes auxquels ils auraient imposé quelques règles de comportement très simples. Et puis, ils auraient laissé tourner la simulation.
Hilary
(¬_^)
Mais pourquoi faire ?
Marc
8-)
Ça pourrait être une simple expérience scientifique. Juste pour voir jusqu’où pourrait évoluer un système très simple ou pour valider une théorie quelconque…
Driss
(¬_*)
Ça pourrait être un jeu aussi !
Astou, Mehdi & Hilary
(O_o)
Un jeu ?
Driss
(¬_*)
Ben oui ! Il y aurait plusieurs joueurs, je ne sais pas combien. Chacun aurait un certain nombre de gènes qui seraient les pièces avec lesquelles il jouerait. Il y aurait des règles qui diraient comment on peut assembler des gènes pour faire des formes de vie plus complexes. Et les gènes de chaque joueur s’affronteraient à travers ces formes de vie plus complexes. Le vainqueur, ce serait celui dont les gènes auront survécu à la fin de la partie.
Marc
8-)
Ce que tu décris là, Driss, me fait penser à un jeu de simulation beaucoup plus simple. Il a été créé en 1970 par un mathématicien nommé John Conway. Son nom : le jeu de la vie !
Il se joue sur une grille à deux dimensions. Sa taille est, en théorie, infinie. Chaque case représente une cellule, par analogie avec les cellules vivantes. Toute cellule est soit vivante, soit morte. Avant de commencer, on définit une configuration initiale, autrement dit on décide de rendre vivante certaines cellules. Ensuite, à chaque tour de jeu, quelques règles très simples permettent de faire évoluer l’état de chaque cellule en fonction de celui de ses huit cellules voisines.
La forme vers laquelle les cellules vont évoluer, au fur et à mesure des itérations, dépend fortement de la configuration initiale. La durée d’existence de l’ensemble de la population jusqu’à l’extinction, aussi.
Driss, Hilary & Astou
(*_*)
Mehdi
(*_*)
Ah oui, ça ressemble, effectivement !
Marc
8-)
Martin Gardner, un écrivain de vulgarisation scientifique, fait le rapprochement entre le jeu de la vie et la simulation de la vie réelle : “[…] les analogies du jeu de la vie avec le développement, le déclin et les altérations d’une colonie de micro-organismes, le rapprochent des jeux de simulation qui miment les processus de la vie réelle.”
Et ce n’est pas qu’un jeu. Il a été démontré qu’il existe une configuration pour tout algorithme. En théorie, on pourrait en faire un ordinateur !
Mehdi, Driss, Astou & Hilary
(o_O)
Mehdi
(¬_¬)
On peut vraiment faire des choses très complexes avec des éléments et des règles très simples !
Marc
8-)
N’est-ce pas ?
Astou
(¬_¬)
Pour revenir à Nick Bostrom, quel calcul il a fait pour conclure qu’on aurait une chance sur trois de vivre dans une simulation ?
Marc
8-)
Encore une fois, cette estimation n’est pas le résultat d’un calcul exact. Il faut la voir comme l’indication d’un ordre de grandeur, une façon de dire qu’il y a de grandes chances que ce soit bien le cas.
Pour y parvenir, Nick Bostrom est parti du constat que nous n’avons pas d’information qui donnerait plus de poids à l’une des propositions par rapport aux autres. Il en déduit qu’elles sont donc toutes les trois plus ou moins aussi probables.
La seule façon d’être certains que nous vivons dans une simulation serait que ses créateurs révèlent leur existence.
Par ailleurs, si jamais nous atteignons un jour le point où nous nous apprêtons à créer nos propres simulations, alors la probabilité que nous vivions nous-mêmes dans une simulation serait beaucoup plus élevée.
Astou
(¬_¬)
Et donc, si nous sommes dans une simulation, alors peut-être que la civilisation qui l’a créée est aussi dans une simulation et que c’est aussi le cas pour la civilisation qui a créé le monde de celle qui a créé le nôtre, et ainsi de suite…
Marc
8-)
Et ainsi de suite, oui.
Hilary
(@_@)
Ça donne le vertige…
Astou & Driss
(@_@)
Mehdi
(¬_¬)
Mais alors, comment on pourrait être conscient, dans une simulation ? Est-ce que la conscience n’est pas une spécificité des êtres, euh… réels ?
Marc
8-)
Biologiques ?
Mehdi
(¬_¬)
Oui, voilà, biologiques. Pas numériques.
Marc
(¬_¬)
Hmmm…
Mehdi
(¬_^)
C’est compliqué ?
Marc
8-)
La question de la conscience est compliquée. Il existe de nombreuses théories à propos de sa nature, de son origine, de sa fonction. On n’est pas encore bien certains de savoir ce que c’est, comment elle a émergé, à quoi elle sert.
Mehdi
(¬_¬)
Et ce serait trop long d’en discuter maintenant ?
Astou
(^_^;)
Oui, trop !
Hilary & Driss
(^_^;)
Astou
=)
Mais s’il y en a une qui permet de penser qu’il serait possible de faire une intelligence artificielle consciente, on peut en parler avant de finir.
Marc
8-)
Ça te convient, Mehdi ?
Mehdi
=)
Oui, d’accord. Et peut-être qu’on pourra parler des autres théories une autre fois, alors.
Marc
8-)
Il existe, en philosophie de l’esprit, une théorie nommée fonctionnalisme. Elle est la théorie la plus largement acceptée, tant par les philosophes que par les chercheurs en sciences cognitives, depuis les années 1960. Elle assimile la pensée à un calcul.
Mehdi
(¬_¬)
Ça me rappelle quelque chose…
Astou
(¬_*)
Mais oui ! La première hypothèse pour la possibilité d’une intelligence artificielle et la référence à Thomas Hobbes qui dit que raisonner, c’est calculer.
Marc
8-)
“Car la RAISON, en ce sens, n’est rien d’autre que le fait de calculer […]”
Selon cette théorie, les états mentaux sont des fonctions. Comme en mathématiques, ces fonctions prennent en paramètres d’entrée des valeurs — des causes — et produisent en sortie un résultat — des effets.
Mehdi
(¬_¬)
Comme une fonction qui prend deux nombres en paramètres d’entrée et produit la somme de ces deux nombres en sortie ?
Marc
8-)
Exactement ! Tout comme en mathématiques le résultat d’une fonction peut devenir un paramètre d’entrée d’une autre fonction, les effets d’un état mental peuvent, à leur tour, devenir les causes d’un autre état mental. On dit que les états mentaux sont des fonctions reliées entre elles par le principe de causalité.
Hilary
(¬_¬)
C’est de la composition de fonctions, ça !
Marc
8-)
Oui ! Le fonctionnalisme dit, de plus, que les supports sur lesquels sont réalisées les fonctions peuvent être multiples.
Driss
(¬_^)
Qu’est-ce que ça veut dire ?
Marc
8-)
Prenons, par exemple, un programme informatique qui réalise une certaine fonction. Quelque soit la fonction pour laquelle il a été conçu, il peut être adapté pour fonctionner sur différents systèmes d’exploitation, tels Windows, Android, iOS, etc. Eh bien ce qui caractérise ce programme, c’est la fonction qu’il réalise, pas les détails d’adaptation à un système ou à un autre. Et cette fonction est indépendante du système sur lequel elle est réalisée.
Driss
(¬_*)
Ah, je crois que j’ai compris ! C’est comme le jeu Among Us ! Il existe sur Android et sur iOS et il est sûrement programmé différemment pour chaque système. Et ce qui est important, c’est le jeu lui-même. Et ce jeu, il est le même sur les deux systèmes, même s’il n’a pas été programmé exactement de la même manière.
Marc
8-)
C’est bien le principe ! Tu as pris l’exemple d’un programme complexe constitué de nombreuses fonctions.
Hilary
(¬_¬)
Il doit y avoir énormément de compositions de fonctions dans ce programme…
Mehdi
(¬_¬)
On peut aussi dire que ces fonctions sont reliées entre elles par le principe de causalité.
Astou
(¬_¬)
Ah, mais attends ! Ça fait penser aux réseaux de neurones du Deep Learning ! Comme si une fonction était un neurone ou un groupe de neurones et lien de causalité… euh…
Marc
8-)
Il est assuré par les connexions synaptiques entre les neurones du réseau. Il y a causalité car les valeurs qui sortent des neurones de départ, associées au poids des connexions synaptiques, déterminent l’activation des neurones cible.
Astou
(*_*)
Driss & Hilary
=)
Mehdi
(*_*)
Ah, ben oui ! C’est le connexionnisme !
Marc
8-)
Exact, Mehdi ! Et le connexionnisme est un sous-courant du fonctionnalisme.
Astou
(^_^;)
Qui est lui-même un sous-courant du physicalisme !
Mehdi
(^_^;)
Qui est lui-même un sous-courant du matérialisme !
Hilary & Driss
(^_^;)
Marc
8-)
Et vous pensez peut-être que la conscience est indissociable du cerveau ?
Mehdi, Driss, Astou & Hilary
(¬_¬)
Ben…
Marc
8-)
Eh bien, le fonctionnalisme dit que la conscience formée de l’ensemble des états mentaux, considérés comme des fonctions reliées entre elles par le principe de causalité, ne dépend pas du support sur lequel elle est réalisée ! Il ne dépend donc pas du cerveau.
Astou
(¬_^)
Et donc, elle pourrait être réalisée ailleurs que dans le cerveau ?
Marc
8-)
Oui ! Et, en particulier, dans un ordinateur ! Il serait possible d’y créer une intelligence artificielle consciente, pourvu qu’on soit capable d’implémenter les fonctions réalisées par les états mentaux…
Mehdi
(¬_¬)
Bon, ça, c’est la théorie philosophique qui laisse penser qu’il pourrait être possible de créer une intelligence artificielle consciente.
Marc
8-)
Tout juste !
Mehdi
(¬_¬)
Y a-t-il des scientifiques qui pensent que c’est possible, aussi ?
Marc
8-)
Jeff Hawkins n’y voit pas de difficulté majeure. Selon lui, la conscience est essentiellement la sensation d’être soi, la sensation d’exister et la sensation d’être un agent qui agit sur le monde. Ses travaux dans le domaine des neurosciences expliquent tout cela par l’activité des neurones.
Astou
(¬_¬)
Ah oui ? Et comment l’activité des neurones peut-elle provoquer ses sensations ?
Marc
8-)
La conscience émergerait de la mémoire de nos actions et de la mémoire de nos pensées.
Pour démontrer le lien entre conscience et mémoire de nos actions, Jeff Hawkins propose l’expérience par la pensée similaire à celle-ci : Imaginez que je sois capable de réinitialiser votre cerveau à un état dans lequel il était précédemment, à tout moment dans le passé. Imaginez, de plus, que vous vous leviez un matin, puis passiez une journée habituelle. Comme à votre habitude, vous iriez au lycée ou à l’université par les transports en commun, et suivriez vos cours, passeriez quelques contrôles. Puis, retour à la maison, dîner. Et là, j’interviens ! Je claque des doigts et votre cerveau est instantanément réinitialisé à l’état dans lequel il se trouvait au moment où vous vous êtes réveillés le matin même !
En conséquence, vous perdriez le souvenir de tout ce que vous avez fait au cours de la journée et penseriez que vous venez juste de vous réveiller.
Mehdi, Driss, Astou & Hilary
(o_O)
Marc
8-)
Maintenant, supposez que je vous montre une vidéo dans laquelle on vous voit en cours ce jour-là. Vous pourriez reconnaître que vous y étiez effectivement, mais vous clameriez que vous étiez inconscient toute la journée durant.
Hilary
(¬_¬)
Mais pourtant, on aurait bien été bien conscients au moment où on aurait été en cours…
Marc
8-)
Exact ! Ce n’est qu’après que j’aurais effacé vos souvenirs que vous seriez persuadés d’avoir été inconscient.
La mémoire de nos actions est donc nécessaire à la conscience.
Driss
(¬_¬)
Et la mémoire de nos pensées ?
Marc
8-)
Tout comme moi, vous avez certainement tous vécu l’expérience de vous retrouver dans une pièce, chez vous, et de vous demandez ce que vous êtes venus y faire.
Astou
(^_^;)
Trop souvent !
Marc
8-)
Nous faisons alors appel au souvenir de nos pensées récentes pour retrouver la raison de notre présence dans cette pièce. Vous pourriez, par exemple, vous trouvez dans la cuisine, ne plus savoir pourquoi vous y êtes venus, faire appel au souvenir de vos pensées et ainsi vous rappeler la raison de votre présence : dévorer goulûment les derniers makrouts restants !
Driss
=P
Hé, hé !
Astou
=P
Ça donne trop faim !
Hilary
=P
Clair !
Mehdi
=P
Il t’en reste ?
Marc
8-)
Eh non, tu t’en doutes bien !
La sensation d’être soi, la sensation d’exister et la sensation d’être un agent qui agit sur le monde, toutes dépendent ainsi de notre capacité à former de façon continue des souvenirs de nos expériences et de nos pensées. Elles dépendent aussi de notre capacité à nous les remémorer, un peu comme si on pouvait en rejouer le film.
Mehdi
(¬_¬)
Mais comment une intelligence artificielle pourrait-elle être consciente de cette manière ?
Marc
8-)
Toujours selon la théorie développée par Jeff Hawkins, les neurones actifs dans notre cerveau représentent, à certains moments, nos expériences et pensées présentes. À d’autres moments, ils représentent nos expériences et pensées passées. Ils nous donnent ainsi la capacité de revenir à un état antérieur et de dérouler la liste des changements d’état qui nous a conduit à l’état actuel.
Maintenant, nous dit Jeff Hawkins, imaginons que nous créions une machine intelligente capable d’apprendre une représentation du monde selon les mêmes principes que le cerveau humain. Selon la théorie fonctionnaliste, les états internes de la machine seraient équivalents à l’état des neurones dans le cerveau. Si on dote cette machine de la capacité à revenir à un état antérieur et de redérouler le fil des états qui l’ont conduite à son état actuel, alors la machine serait consciente de son existence de la même façon que nous le sommes de la nôtre.
Hilary
(¬_¬)
Donc, il étudie le fonctionnement du cerveau pour déterminer les fonctions du cerveau — de la conscience, en particulier — et après, si on arrive à les reproduire avec une machine, alors la machine sera consciente elle aussi ?
Marc
8-)
C’est bien l’idée ! On peut dire que lui et son équipe font de la rétro-ingénierie du cerveau.
Driss
(^_^;)
Rétro-ingénierie, c’est de l’ingénierie des années 1980 ?
Mehdi & Hilary
=D
Astou
(@_@)
J’avoue, moi non plus, je ne sais pas ce que c’est…
Marc
8-)
Il s’agit de l’étude du fonctionnement d’un système complexe dans le but de le reproduire ou de le modifier.
Mehdi
(¬_¬)
Ça laisse penser que l’on considère le cerveau humain comme un objet technologique.
Marc
8-)
Tout à fait. Et c’est en parfait accord avec la thèse chère aux transhumanistes selon laquelle l’humain est un cyborg naturel.
Mehdi
(¬_^)
Donc, une machine biologique ?
Marc
8-)
Précisément !
Hilary
(¬_¬)
Finalement, il serait peut-être possible de créer une intelligence artificielle consciente si les mécanismes de la conscience sont comme le dit le fonctionnalisme, et si le cerveau fonctionne bien comme le dit la théorie de Jeff Hawkins, et si on arrive à concevoir une intelligence artificielle qui aurait les mêmes mécanismes que le cerveau.
Driss
(¬_¬)
Et si on a des ordinateurs assez puissants… Et si on a suffisamment d’énergie…
Astou
(¬_^)
Mais alors, si on y arrive un jour, une intelligence artificielle consciente, ce serait un peu comme une personne !
Mehdi, Driss, Astou & Hilary
(O_o)
Marc
8-)
Merci, Mehdi, pour toutes tes questions.
Mehdi
=)
Je voudrais bien qu’on parle encore un peu de la conscience, la prochaine fois. C’est super intrigant, je trouve.
Driss
=)
Moi, j’y connais rien, mais je voudrais bien en savoir plus aussi.
Hilary
=)
Ouh là ! Mais on va partir encore plus loin, là !
Marc
8-)
C’est juste ! On pourrait considérer cette prochaine discussion comme un intermède récréatif.
Astou
=)
Si la prochaine fois sera récréative, on pourrait faire un peu autrement ? Je veux dire… Autre chose que juste une conversation…
Marc
8-)
Tu as quelque chose de précis en tête ?
Astou
(¬_¬)
Ben…
Hilary
=)
Tu pourrais nous raconter une histoire !
Driss & Mehdi
=)
Oh oui, une histoire !
Marc
8-)
Ça pourrait être un bon point de départ… D’accord pour une histoire, alors !
Mehdi, Driss, Astou & Hilary
\o/
