[Rapport Villani] Chap. 5 — La CMANEM

Le Grand Sage se déplaçait d’un pas calme vers la salle de conseil. Héritier de la longue lignée des Thémisiens, il appartenait à la race Sophialienne : une des plus anciennes espèces intelligentes de l’Univers. Le mur devant lequel il arriva s’effaça et il pénétra dans la salle du conseil.

« Mesdames, Messieurs, Mesneutres membres du Conseil de la Fédération Intergalactique, veuillez accueillir l’honorable Grand Sage”, annonça solennellement le Questeur principal.

- Merci bien cher ami, mais tant de cérémonie n’est pas nécessaire, dit-il en s’adressant au Questeur. Chers membres du Conseil de la Fédération Intergalactique, mais surtout estimés confrères et amis, je vous remercie de votre présence à cette nouvelle Concertation Millénaire pour l’Acceptation des Nouvelles Espèces Matures dans notre vénérable Fédération Intergalactique. J’ai cru comprendre que depuis notre dernière concertation, de nombreuses espèces intelligentes seraient devenues matures au sens du critère n°9 de la Constitution Fédérale Intergalactique qui, est-ce nécessaire de le rappeler, considère une espèce apte à devenir membre des nôtres à condition qu’elle maîtrise son intelligence, à savoir qu’elle la comprenne et sache la reproduire. Commençons donc sans plus attendre notre concertation si vous le voulez bien. »

Une fois tous les membres du Conseil installés et fin prêt à entamer les discussions, le Questeur reprit la parole :

« Chers membres, je vous propose d’entamer cette concertation avec le cas de la planète 98CDM10ZZ30, située dans le système OE2001 de la galaxie SP2.

- Pouvez-vous nous rappeler rapidement les principales caractéristiques de cette planète, cher Questeur, renchérit le Grand Sage ? »

Le Questeur parcouru alors avec application les informations s’affichant dans la sphère qui flottaient devant lui :

« Cette planète appartient à un système stellaire relativement réduit de 9 planètes. De taille également réduite, cette planète est très jeune puisqu’elle n’a été formée il y a seulement 4 543 000 millénaires. La vie s’y est développée il y a 3 500 000 millénaires et la jeune espèce intelligente est apparue il y a 2 800 millénaires. Des premiers signes annonciateurs de progression de l’intelligence ont été rapporté ces derniers temps avec la découverte de l’écriture il y a 5 millénaires et des sciences mathématiques il y a 1 millénaire. Les toutes dernières informations en notre possession laissent entendre que cette espèce serait tout juste parvenue à la maîtrise de son intelligence au sens de la Fédération, chose inouïe vu sa jeunesse. Elle appelle par ailleurs sa planète : La Terre. »

Les derniers rapports sur cette planète relataient en effet une récente avancée technologique survenue il y a tout juste quelques années. L’espèce intelligente dominante serait en effet parvenue la réalisation de ce qu’ils appelaient “intelligence artificielle”, laissant supposer que cette espèce était désormais capable de comprendre son intelligence et de contrôler sa reproduction. Le cas de la “Terre” avait alors été ajouté à l’ordre de cette Concertation Millénaire à la dernière minute.

« Mes chers confrères, je suppose que vous possédez tous de nombreuses informations sur cette planète, dont le partage enrichira nos discussions” reprit le Grand Sage.

Le représentant des Rizzoliens prit alors la parole :

« Mes chers confrères, comme vous le savez, nous autres Rizzoliens avons mit en place il y plusieurs millions de millénaires notre Observatoire Galactique de la Matière et des Ressources dont les résultats vous sont régulièrement transmis. Or, dans le cas de la “Terre”, toutes nos observations confirment une utilisation extrêmement intense des ressources de cette petite planète ces derniers temps. La quantité de leurs matières rares s’épuise à vitesse lumière : leurs réserves de silicium et leur énergie disponible, notamment électrique, semble insuffisante pour couvrir leurs besoins technologiques futurs. Or, nos indices de renouvellement ne semblent pas indiquer que cette espèce entreprenne des initiatives particulières pour régénérer ses ressources.

- Cette surconsommation ne pourrait-elle pas être simplement le fait de ladite maîtrise de leur intelligence ?, plaida la représentante des Tamaliens. Je me permets de vous rappeler que bon nombre d’espèces matures assises aujourd’hui autours de cette table ont-elles aussi dû faire face à ces difficultés pour maîtriser leur intelligence. Au début, l’atteinte de cette dernière nécessite l’utilisation de ressources considérables, voir de la quasi totalité de ce qu’une planète donnée peut offrir. Et ensuite, même si la maîtrise de l’intelligence acquise doit permettre de rétablir l’équilibre, elle fait face dans ces prémices au paradoxe de l’optimisation que vous connaissez tous. »

Plusieurs espèces représentées dans ce Conseil étaient bien familières avec ce paradoxe. Elles aussi avaient connu cette situation particulière, où les gains de ressources permis par la maîtrise de l’intelligence sont sapés dans un premier temps par des effets rebonds : on croit son développement inarrêtable et on consomme alors encore plus que ce que les progrès permettent d’économiser. L’optimisation est annulée par une sur-consommation, et cette situation peut s’avérer périlleuse pour celui qui n’y prête pas attention.

« Mais normalement cette phase est relativement courte, reprit la représentante Tamalienne. Elle se termine une fois compris qu’après la maîtrise de l’intelligence, le progrès se tasse bien vite et consommer toujours plus ne mène à rien. Pouvons-nous supposer que, comme pour certaines de nos espèces, les “Terriens” ne tarderont pas à rétablir l’équilibre de leurs ressources ?

- Dans ce cas, il convient de savoir quelles nouvelles applications cette espèce envisage grâce à cette intelligence maitrisée. Migre-t-elle vers de nouveaux modèles techniques plus sobres et efficaces ? s’enquit le Grand Sage. »

Le Questeur jeta un regard à sa sphère flottante où s’affichait de nouvelles informations :

« À ce titre les observations de l’OAG (l’Organisation des Activités Galactique, ndlr) n’indiquent pas vraiment d’amélioration. Pour faire fonctionner sa technologie d’intelligence, l’espèce de cette planète utiliserait toujours les mêmes “processeurs graphiques” non adaptés et se contenterait de les empiler pour fournir assez de puissance de calcul. Rien ne laisse à penser qu’ils maîtrisent le niveau quantique de calcul.

- Ah… Et qu’en est-il du stockage de leurs informations dématérialisées alimentant leurs technologies ?

- Ces dernières sont encore stockées dans d’immenses centres de données, qui se multiplient rapidement à mesure que leur espèce dématérialise ses activités et migre vers un stade numérisé. Mais les systèmes avancés comme le stockage ADN ne sont pas encore d’actualité. Et chose étonnante : l’énergie produite par ces centres de données, comme la chaleur, n’est même pas réutilisée… Étrange pour une planète épuisant ses ressources…

- Et bien s’ils n’utilisent pour l’instant pas leur maîtrise de l’intelligence pour changer de modèles, à quoi leur sert-elle ? interrogea le Grand Sage.

- Il semblerait que des applications du quotidien soient pour l’instant privilégiée. Elle leur sert par exemple à améliorer leur système de manipulation à la vente qu’ils nomment “publicités personnalisées”. Idem pour l’organisation de l’information. Cette espèce aime aussi à se comparer à sa propre invention lors de confrontations humain — “intelligence artificielle”. La victoire de leur technologie à un certain jeu d’une complexité modérée où l’on déplace des pierres noires et blanches sur un plateau de bois les a notamment beaucoup impressionné.

- Hmm, murmura le Grand Sage pensif. Et quels sont leurs projets futurs ?

- Toujours selon l’OAG, ils sont majoritairement destinés à suppléer cette espèce sur des tâches qu’elle n’aime pas particulièrement exécuter, comme conduire son véhicule ou travailler. Selon le dernier rapport, les “Terriens” envisageraient de faire assurer de nombreuses activités par leurs systèmes d’intelligence artificielle. »

Le Grand Sage, perplexe, marqua une pause de quelques instants. Cette situation commençait à lui paraître… surprenante.

« Et cette espèce poursuit-elle encore son ambition de liberté et d’égalité entre ses membres avec ses dernières avancées technologiques ? Si mes souvenirs sont bons, un mouvement intéressant d’émancipation moral au profit du développement des sciences, de l’affranchissement social et de liberté individuelle eu lieu il y a environ un demi millénaire non ? C’est ce qu’ils appelaient “Humanisme” je crois, en écho au nom de leur espèce.

- Hmmm, laissez moi regarder dans le rapport de l’Organisation, dit le Questeur en se replongeant dans sa sphère. Non, rien n’indique que des initiatives à grandes échelles aient été entreprises pour poursuivre cet objectif, même depuis le développement de leurs systèmes intelligents. Par contre, je vois que des initiatives de surveillance de masse, numérique ou physique, sont de plus en plus courants. Et des armes autonomes sont également en développement.

- Tiens-donc, s’exclama le Grand Sage. C’est à se demander comment cette espèce parvient à garder la main sur son “intelligence artificielle” et ses applications. »

Le représentant des Keplerien, qui avait suivi la discussion avec un air légèrement amusé, sortit enfin de son mutisme :

« Chers confrères, j’ai peut-être pour vous des informations qui éclaireront notre débat. Comme vous le savez, notre planète est située dans la même galaxie que la leur et nos systèmes enregistrent les communications qui en émanent depuis que cette espèce… sait communiquer. Concernant le fait de garder la main, comme l’évoquait le Grand Sage, je crains de vous décevoir quand à l’état d’avancement de cette espèce. Nos systèmes sont formels : le principe de réflexion éthique est absent de leur “intelligence artificielle” et n’a jamais été intégré à sa conception. Certains débats ont lieu là-bas à ce sujet, mais pour l’instant cette question est seulement théorique. Ni comité éthique, régional ou supra-régional, ni enseignement de l’éthique aux nouvelles générations, n’ont été instaurés. »

Surpris, le Grand Sage s’exclama alors :

« Mais, comment cette espèce parvient-elle alors à contrôler le bon fonctionnement de son “intelligence artificielle”, sans réfléchir en amont à l’éthique de sa conception ? Effectuent-ils des contrôles a posteriori sur les décisions que prennent leur systèmes intelligents ?

- C’est à dire, et je vais encore une fois de vous décevoir, que cette espèce ne comprend pas, à proprement parler, comment fonctionne exactement leur “intelligence artificielle”. Ils savent la concevoir et la déployer, pour sûr. Mais ils ne savent par contre pas expliquer les décisions prises par leurs algorithmes de réflexion et sur quelles bases. Leurs systèmes apprennent des millions d’exemples qui leurs sont fournis, mais ils ne savent pas dire comment ils apprennent. Notre analyse de leurs communications relatent bien un débat émergent sur le fait d’ouvrir ce qu’ils appellent la “boîte noire de l’intelligence artificielle” et d’entreprendre des recherches pour parvenir à comprendre leur technologie. Mais ce sujet semble mineur et ne freine en aucun cas le déploiement de leur solutions “intelligentes”… »

Le Grand Sage soupira alors légèrement, et annota ces quelques mots à côté du numéro 98CDM10ZZ30 de sa liste : “nouvelle évaluation au prochain millénaire”, avant de passer au numéro suivant.

[Chapitre 5] Et sinon, que dit le vrai rapport Villani ?

Une des grande force de ce rapport est de considérer également les implications de l’intelligence artificielle, et où souhaitons nous qu’elle nous mène. C’est cela, donner du sens à l’IA.

D’un point de vue écologique, Cédric Villani admet que l’IA participe à l’épuisement de nos ressources (silicium, production d’électricité, etc.) en renforçant la tendance. Bien qu‘elle soit aussi porteuse de solutions, le paradoxe de l’optimisation (améliorations, mais effets rebonds) n’est pas loin. Pour cela, l’IA se doit d’être écologique pour une croissance plus économe et collective, permettant de nouveaux modèles techniques et économiques plus sobres et de nouvelles formes d’usages, de partage et de collaboration. Quelques propositions en ce sens :

• Porter ce débat sur la scène internationale (G7 et G20).
• Créer des lieux de rencontre entre IA et transition écologique (dans les 3IA par exemple)
• Grands sujets à creuser (stockage sur ADN, etc.)
• Plateforme de mesure de l’impact écologique des solutions numériques
• Penser une IA moins consommatrice (solutions alternatives aux processeurs GPU trop gourmants)
• Label pour les fournisseurs de clouds écologiques
• Favoriser le recyclage de la chaleur des centres de données
• Open-hardware et open-software pour que tout le monde s’empare de l’optimisation
• Libérer la donnée écologique

Et l’IA ne doit pas seulement être écologique mais aussi éthique.

Alors que l’IA se concentre sur notre “quotidien” (organiser nos fils d’actualité, guider nos décisions d’achats, déterminer nos programmes d’entraînement sportif, etc.), l’éthique est indispensable car ces algorithmes déterminent de plus en plus d’aspects de nos vies.

Pour cela, “ouvrir la boîte noire” est primordial. L’explicabilité des algorithmes est alors un véritable défi scientifique et une condition nécessaire pour l’acceptation sociale de l’IA

“On ne peut admettre, en tant que société, que certaines décisions importantes puissent être prises sans explication, donc sans possibilité de les justifier.”

Les procédures, outils et méthodes d’audit des systèmes doivent se développer pour contrôler la conformité à notre cadre juridique et éthique, surtout en cas de litige. Aujourd’hui, de tels audits sont trop limités (algorithmes trop opaques + propriété intellectuelle + protection des données personnelles).

Le rapport suggère alors la création d’une fonction assermentée d’audit des algorithmes et des bases de données (action a posteriori en testant la loyauté des programmes à leurs objectifs) et le soutien à la recherche sur l’explicabilité.

Par ailleurs, penser l’éthique dès la conception reste le meilleur moyen de s’en assurer (mieux vaut prévenir que guérir). Former les ingénieurs et chercheurs à l’éthique, instaurer des études d’impacts sur les discrimination (DIA) font partie des propositions du rapport.

Enfin, la question de garder la main sur nos technologies apparait nécessaire face au développement de systèmes de surveillance ou de contrôle (police prédictive, armes autonomes, etc.). Informer les citoyens sur leurs droits et s’assurer qu’à tout moment on peut chercher une responsabilité humaine est souligné dans ce rapport qui pose finalement une question simple : existe-t-il des décisions qui, même faillibles, n’ont pas vocation à être remplacées ?

Dans la dernière partie de ce rapport, Cédric Villani complète des réflexions déjà largement abordées dans les parties précédentes concernant le défi de l’IA face à l’inclusion de tous et de toutes, mais également d’y faire participer le plus grand nombre.

La mixité y est alors abordé spécifiquement, préconisant de s’inspirer des initiatives à l’étranger pour favoriser l’apprentissage du code aux adolescentes (Indian Girls Code, Girls Who Code aux US, etc.) et de proposer un mentorat des filles dans les écoles d’ingénieur et d’informatique. S’interroger sur le taux de femmes qui changent de carrière et abandonnent le numérique et augmenter la transparence dans les processus de recrutement (surtout des petites structures et startups) est aussi proposé.

Enfin, pour une IA qui n’exclut pas, elle se doit d’être mise au profit de l’innovation sociale. L’administration pourrait alors s’en emparer pour proposer des plateformes afin de simplifier l’accès aux démarches administratives tout en développant le dialogue et la médiation humaine de proximité, notamment envers les personnes les plus vulnérables. Mettre à disposition des acteurs de l’action sociale (administration, professionnels de l’action sociale, associations…) un pôle de ressources et de compétences en IA est aussi envisagé, tout comme engager un débat de société sur les robots sociaux (notamment les réponses émotionnelles à leur actions affectives).