Pour un design technologique plus éthique
La technologie n’est pas indépendante de ceux qui la conçoivent, au contraire, elle est le fruit de longs processus de décisions prises par des équipes d’ingénieurs et designers. Et, de manière intentionnelle ou non, ces décisions se font parfois aux dépens de l’utilisateur. Il est donc primordial d’avoir conscience de ces biais pour concevoir des technologies qui soient réellement au service de ceux qui les utilisent.
Au XXIème siècle, difficile de résister au charme des technologies. L’assistant personnel de votre téléphone vous murmure d’une voix suave des réponses à vos questions sitôt posées. Votre télé est devenue intelligente : branchée sur vos réseaux sociaux, elle vous suggère des contenus personnalisés et pertinents. Quant aux photographies de vos dernières vacances, elles ont été soigneusement classées, archivées et colorisées par les algorithmes de votre tablette. Quand, le soir, vous vous déconnectez de votre journée de magie technologique, vous vous demandez peut-être dans un demi-sommeil comment vous auriez fait sans elle — et sans ses maîtres sorciers : les designers et les ingénieurs. Ce sont eux qui ont créé les totems qui modèlent vos usages, en y embarquant des tours de magie nommés intelligence artificielle, algorithmes et machine learning.
Mais ce que vous ne soupçonnez peut-être pas, c’est que ces outils ne sont pas toujours à votre service. Ils ont même des biais de conception qui peuvent vous desservir. À mesure que la technologie s’imbrique dans nos usages quotidiens, elle nous impose subrepticement des manières de faire et de voir le monde : les technologies, censées nous assister, façonnent un univers dans lequel on n’est pas si libres de ses décisions. Or, pour être un bon sorcier, comme pour être un bon designer ou ingénieur, il faut s’interroger sur l’éthique des sorts qu’on invente.
Géolocalisation ou bulle géographique ?
Plus qu’un service, se géolocaliser est devenu un réflexe, d’ailleurs encodé par défaut sur vos applications et services utilisés. La simple vision du petit point bleu vous représentant sur un fond de carte virtuel provoquerait selon le géographe Jim Thatcher un “plaisir d’être placé”. Et puis cela nous simplifie la vie, et ce n’est pas les 74% d’Américains qui utilisent les services de géolocalisation pour se déplacer qui diront le contraire. Reste que les algorithmes qui nous situent — et donc connaissent tous nos déplacements — nous enferment dans une bulle géographique. Des services comme Foursquare ou Yelp recommandent des bars basés sur vos préférences ou les lieux précédemment visités. Google Maps vous indique les restaurants les plus populaires dans les quartiers branchés, là où justement une masse critique d’utilisateurs ont déjà partagé leurs commentaires. À mesure que vos préférences sont prises en compte, le service vous enferme dans une bulle. Au revoir sérendipité et découverte de nouveaux endroits : en vous reposant trop sur ces cartes virtuelles magiques et leurs mystérieux algorithmes, vous risquez de ne plus sortir de votre zone de confort. Et de contribuer à la disparition de la mixité sociale dans les villes : car à force de sortir et de se déplacer dans les quartiers qui nous ressemblent, ceux-ci ne font que s’uniformiser.
Une intelligence artificielle… raciste ?
En 2016, Elon Musk faisait la une des journaux quand il déclarait craindre pour l’avenir de l’humanité avec les progrès de l’intelligence artificielle : dans quelques années, elle sera capable selon lui de prendre le contrôle sur les humains. Mais le chemin est encore long, puisqu’elle n’est pas encore tout à fait capable de reconnaître les humains de différentes couleurs de peau. En 2015, l’application photo de Google, censée automatiquement classer les clichés pris avec votre appareil, associait les photographies de personnes noires avec celles de gorilles. La même année, la firme Nikon a dû s’excuser car son logiciel d’appareil photo, lui, ne reconnaissait pas les yeux bridés, pensant qu’il s’agissait d’une personne qui avait fermé les yeux par inadvertance. Ces dysfonctionnements majeurs sont le fruit, selon la chercheuse de Microsoft Research Kate Crawford, qui s’exprimait alors dans le New York Times, d’un problème de données. Car pour fonctionner, les machines sont entraînées par les ingénieurs qui nourrissent leurs algorithmes d’images : un entraînement qui finit par donner aux machines une vision partielle du monde. Car si le système est habitué à analyser des photos de personnes majoritairement de peaux blanches ou claires, il aura du mal à reconnaître celles qui ne le sont pas. Pour Kate Crawford, ces biais encodés par l’intelligence artificielle sont dus à la surreprésentation d’ingénieurs et designers blancs.
Des assistants personnels légèrement intrusifs
Qui n’a pas jamais rêvé d’avoir un conseiller mode chez soi pour éviter les impairs de tenue avant de sortir en société ? Dernièrement, Amazon a lancé Echo Look, un assistant virtuel doté d’une caméra et d’un micro. Placé dans la salle de bains ou dans la chambre, ce petit objet peut être utilisé avec l’app Style Check pour — comme son nom l’indique — examiner votre style vestimentaire. La méthode est simple : il vous suffit de vous placer devant la caméra et Style Check analyse votre tenue grâce au machine learning et ses algorithmes entraînés par, selon Amazon, “des experts fashionistas”. Votre vie sociale va prendre du galon : vous ne commettrez plus l’erreur impardonnable de combiner cravate à rayures et chemises à motifs et vous remiserez au placard cette vieille robe à carreaux qui jure avec votre veste en cuir. Génial, non ? Sauf que si l’on regarde plus en détail, comme des journalistes de Motherboard l’ont fait, les photos prises par Amazon Echo sont stockées ad vitam eternam sur le cloud d’Amazon. Cette permanence des données laisse craindre à la sociologue Zeynep Tufekci que celles-ci pourront être utilisées par Amazon pour ajouter d’autres informations à votre profile marketing, comme le fait que vous soyez enceinte ou que vous ayez récemment perdu du poids — signe que vous êtes soit au régime, soit que vous êtes potentiellement déprimé(e). Ces informations pourront ensuite être exploitées par Amazon pour vous vendre davantage de contenu ciblé.
Alors que les technologies “magiques” nous accompagnent partout, il est de plus en plus indispensable de prendre en compte les effets indésirables causés par des approches certes pragmatiques, mais aussi technologistes et unilatérales. Il existe plusieurs pistes pour changer la donne. Parmi elles, on retient une initiative du Oxford Internet Institute, qui donne aux ingénieurs et designers des lignes directrices permettant de mieux questionner les choix qu’ils font au moment de la conception du produit. Cette espèce de check list, Networked Systems Ethics, permet de passer en revue les grandes questions éthiques ayant trait à la collecte de données ou aux éventuels effets négatifs causés à des communautés d’utilisateurs en particulier. Généraliser son utilisation dans le processus de fabrication technologique pourrait permettre d’endiguer les ratés ou les failles éthiques.
Sur le long terme, enfin, il faudra également améliorer la représentativité des équipes qui pensent et fabriquent ces objets : recruter davantage de designers et ingénieurs aux parcours différents si l’on veut rompre avec une façon de faire réductrice, solutionniste, qui ne donne pas à la technologie la possibilité d’ouvrir nos horizons.
Originally published at Yellow Vision.
