Deep learning, désillusions

Des IA portées aux nues par les “buzzeurs”, et plouf!

Pascal Kotté
Aug 24 · 7 min read

Le “Buzz”, c’est quand tu dois attirer l’attention, à l’ère des infobésités, pour te faire entendre. Face à la prolifération des articles, sujets, blogs librement accessibles à l’ère du gratuit, il faut faire “sensation” pour vendre et attirer le lecteur, comme les clients… A l’ère des dictatures spéculatives, et du marketing économique et politique, ce ne sont plus des informations qui sont échangées, mais des caricatures d’informations...

Les “IA” n’y échappent pas, et dans le HYPE, nous abordons la courbe de la désillusion. Nous constatons que les humains surestiment toujours à court terme. Mais ils sous-estiment énormément, à long terme.

Image for post
Image for post
source: http://comment-innover.fr/2018/03/18/courbe-innovation/

Dans le terme “Intelligence Artificiel” se trouve un mot qui est une usurpation, devinez lequel? Ce n’est pas magique, le Deep Learning…

Mais pour autant, cela ne veut pas dire que je ne crois pas dans les capacités et les possibilités fantastiques promises par l’IA, bientôt… Mais avec quelles gouvernances? Pour le meilleur, ou pour le pire? Les deux, comme d’habitude. A nous de tenter de faire pencher la balance. cf. http://blog.Botready.ch

Un exemple de grosse désillusion

Voici l’histoire traduite de l’article de Karen Hao sur MIT Technology Review

Éthique de l’IA

La débâcle des examens britanniques nous rappelle que les algorithmes ne peuvent pas réparer les systèmes cassés

Le problème a commencé lorsque le régulateur d’examen a perdu de vue le but ultime — et a poussé avant tout à la normalisation.

par

20 août 2020

Image for post
Image for post

MS TECH | AP, GETTY

Lorsque le Royaume-Uni a commencé à chercher une alternative aux diplômes de fin d’études, la prémisse semblait parfaitement raisonnable. Covid-19 avait fait dérailler toute possibilité pour les étudiants de passer les examens en personne, mais le gouvernement voulait toujours un moyen de les évaluer pour les décisions d’admission à l’université.

Le principal de ses préoccupations était une question d’équité. Les enseignants avaient déjà fait des prédictions sur les résultats des examens de leurs élèves, mais des études antérieures avaient montré que ceux-ci pouvaient être biaisés en fonction de l’âge, du sexe et de l’appartenance ethnique. Après une série de panels d’experts et de consultations , Ofqual, l’Office of Qualifications and Examinations Regulation, s’est tourné vers un algorithme. À partir de là, les choses ont terriblement mal tourné.

Près de 40% des étudiants ont fini par recevoir des notes d’examen rétrogradées par rapport aux prévisions de leurs enseignants, menaçant de leur coûter leurs places à l’université. L’analyse de l’algorithme a également révélé qu’il avait blessé de manière disproportionnée les élèves issus de la classe ouvrière et des communautés défavorisées et gonflé les scores des élèves des écoles privées. Le 16 août, des centaines de personnes ont scandé « Fuck the algorithm » devant le bâtiment du ministère britannique de l’Éducation à Londres pour protester contre les résultats. Le lendemain, Ofqual avait annulé sa décision . Les élèves recevront désormais les scores prédits de leur enseignant ou ceux de l’algorithme, selon le plus élevé des deux.

La débâcle ressemble à un exemple classique de discrimination algorithmique . Ceux qui ont depuis disséqué l’algorithme ont souligné à quel point il était prévisible que les choses tournent mal; il a été formé, en partie, non seulement sur les résultats scolaires antérieurs de chaque élève, mais aussi sur les performances passées aux examens d’entrée de l’école de l’élève. L’approche n’aurait pu conduire qu’à une sanction des valeurs aberrantes exceptionnelles en faveur d’une moyenne constante.

Mais la racine du problème est plus profonde que de mauvaises données ou une mauvaise conception algorithmique. Les erreurs les plus fondamentales ont été commises avant même qu’Ofqual ne choisisse de poursuivre un algorithme. Au fond, le régulateur a perdu de vue l’objectif ultime: aider les étudiants à faire la transition vers l’université pendant les périodes d’anxiété. Dans cette situation sans précédent, le système d’examen aurait dû être complètement repensé.

«Il n’y a eu qu’un échec spectaculaire de l’imagination», déclare Hye Jung Han, chercheuse à Human Rights Watch aux États-Unis, qui se concentre sur les droits des enfants et la technologie. «Ils n’ont tout simplement pas remis en question la prémisse même de leurs processus, même lorsqu’ils auraient dû.»

Au niveau de base, Ofqual faisait face à deux objectifs potentiels après l’annulation des examens. Le premier était d’éviter l’inflation des notes et de normaliser les notes; la seconde était d’évaluer les étudiants aussi précisément que possible d’une manière utile pour les admissions universitaires. En vertu d’une directive du secrétaire d’État, il a donné la priorité au premier objectif. «Je pense que c’est vraiment le moment qui a posé problème», déclare Hannah Fry, maître de conférences à l’University College de Londres et auteur de Hello World: Comment être humain à l’ère de la machine . «Ils optimisaient pour la mauvaise chose. Ensuite, peu importe ce qu’est l’algorithme — il n’allait jamais être parfait. “

«Il y a eu juste un échec spectaculaire d’imagination.»

Hye Jung Han

L’objectif a complètement façonné la manière dont Ofqual a abordé le problème. Le besoin de normalisation a emporté tout le reste. Le régulateur a alors logiquement choisi l’un des meilleurs outils de normalisation, un modèle statistique, pour prédire une distribution des notes aux examens d’entrée pour 2020 qui correspondrait à la distribution de 2019.

Si Ofqual avait choisi l’autre objectif, les choses se seraient déroulées différemment. Il aurait probablement abandonné l’algorithme et travaillé avec les universités pour changer la façon dont les notes d’examen sont pondérées dans leurs processus d’admission. «S’ils regardaient juste un pas au-delà de leur problème immédiat et regardaient à quoi servent les notes — aller à l’université, être en mesure de trouver un emploi — ils auraient pu travailler de manière flexible avec les universités et les lieux de travail pour dire: Les notes annuelles vont être différentes, ce qui signifie que toutes les décisions importantes qui étaient traditionnellement prises en fonction des notes doivent également être flexibles et doivent être modifiées », déclare Han.

En se fixant sur l’équité perçue d’une solution algorithmique, Ofqual s’est aveuglé sur les inégalités flagrantes du système global. «Il y a une injustice inhérente à définir le problème pour prédire les notes des élèves comme si une pandémie ne s’était pas produite», dit Han. «Il ignore en fait ce que nous savons déjà, à savoir que la pandémie a mis au jour toutes ces fractures numériques dans l’éducation.»

Les échecs d’Ofqual ne sont pas uniques. Dans un rapport publié la semaine dernière par l’Oxford Internet Institute, les chercheurs ont découvert que l’un des pièges les plus courants dans lesquels les organisations se retrouvent lors de la mise en œuvre d’algorithmes est la conviction qu’ils résoudront des problèmes structurels très complexes. Ces projets «se prêtent à une sorte de pensée magique», explique Gina Neff, professeure agrégée à l’institut, qui a co-rédigé le rapport. «D’une manière ou d’une autre, l’algorithme éliminera simplement tout parti pris des enseignants, et éliminera toute tentative de tricherie ou de jouer avec le système.»

«Je pense que c’est la première fois qu’une nation entière ressent l’injustice d’un algorithme simultanément.»

Hannah Fry

Mais la vérité est que les algorithmes ne peuvent pas réparer les systèmes cassés. Ils héritent des défauts des systèmes dans lesquels ils sont placés. Dans ce cas, les étudiants et leur avenir ont finalement subi le plus gros du tort. «Je pense que c’est la première fois qu’une nation entière ressent l’injustice d’un algorithme simultanément», dit Fry.

Fry, Neff et Han craignent tous que ce ne soit pas la fin des gaffes algorithmiques. Malgré la nouvelle prise de conscience du public sur les problèmes, la conception et la mise en œuvre d’algorithmes justes et bénéfiques sont franchement très difficiles.

Néanmoins, ils exhortent les organisations à tirer le meilleur parti des leçons tirées de cette expérience. Tout d’abord, revenez à l’objectif et réfléchissez de manière critique à savoir si c’est le bon. Deuxièmement, évaluez les problèmes structurels qui doivent être résolus pour atteindre l’objectif.

(«Lorsque le gouvernement a annulé l’examen en mars, cela aurait dû être le signal de proposer une autre stratégie pour permettre à une écologie beaucoup plus large de décideurs d’évaluer équitablement les performances des élèves», dit Neff.)

Enfin, choisissez une solution facile à comprendre, à mettre en œuvre et à contester, en particulier en période d’incertitude. Dans ce cas, dit Fry, cela signifie renoncer à l’algorithme au profit des scores prédits par l’enseignant: «Je ne dis pas que c’est parfait», dit-elle, «mais c’est au moins un système simple et transparent.»

Auteur

Image for post
Image for post

Karen Hao

Traduction, Google + Pascal Kotté

BotReady

Etes-vous "Bot Ready" ?

Pascal Kotté

Written by

Réducteur de fractures numériques, éthicien digital, Suisse romande.

BotReady

BotReady

Etes-vous "Bot Ready" ? En Suisse romande et France voisine ! Un programme de veille collaborative avec CloudReady.ch, en collaboration avec Tech4good et Léman Innovation Numérique (LIN). Chatbot, Voicebot, Assistant virtuel, Avatar, Agent personnel Autonome (ASA)…

Pascal Kotté

Written by

Réducteur de fractures numériques, éthicien digital, Suisse romande.

BotReady

BotReady

Etes-vous "Bot Ready" ? En Suisse romande et France voisine ! Un programme de veille collaborative avec CloudReady.ch, en collaboration avec Tech4good et Léman Innovation Numérique (LIN). Chatbot, Voicebot, Assistant virtuel, Avatar, Agent personnel Autonome (ASA)…

Medium is an open platform where 170 million readers come to find insightful and dynamic thinking. Here, expert and undiscovered voices alike dive into the heart of any topic and bring new ideas to the surface. Learn more

Follow the writers, publications, and topics that matter to you, and you’ll see them on your homepage and in your inbox. Explore

If you have a story to tell, knowledge to share, or a perspective to offer — welcome home. It’s easy and free to post your thinking on any topic. Write on Medium

Get the Medium app

A button that says 'Download on the App Store', and if clicked it will lead you to the iOS App store
A button that says 'Get it on, Google Play', and if clicked it will lead you to the Google Play store