Traduction d’un article rédigé par Maurice E. Stucke et Ariel Ezrachi, publié sur www.wired.com le 29/11/2016. (https://www.wired.com/2016/11/subtle-ways-digital-assistant-might-manipulate/)

Aujourd’hui nous ‘googlons’ lorsque nous avons besoin d’une information. A l’avenir, cette pratique pourrait disparaître. Au lieu de nous connecter au moteur de recherche, nous nous reposons de plus en plus sur l’aide de notre majordome digital, à savoir l’assistant intelligent, activé par la voix, qui se retrouve dans nos téléphones, nos montres ainsi que dans des appareils comme l’Amazon Echo ou l’Alphabet Home (Alphabet est la maison-mère de Google).

... Computing Platforms: Google vs Amazon vs Apple vs Facebook

Au lieu de faire une recherche sur le web, nous pouvons directement demander à notre assistant numérique comment enlever une tache de notre t-shirt, par exemple. Il peut réaliser toutes sortes d’autres tâches triviales, comme ajouter des légumes à notre liste de courses de la semaine, vérifier la météo, envoyer un SMS, réserver des places de concert ou commander un Uber.

En plus de nous fournir de l’information à la demande, l’assistant numérique peut également anticiper et répondre à nos besoins, sur base de tout ce qu’il sait déjà sur nous. Au lieu de nous inquiéter des petits détails de la vie quotidienne, nous faisons de plus en plus confiance à notre assistant, le laissant par exemple s’occuper d’éteindre les lampes et de baisser le thermostat lorsque nous quittons le domicile. Plus il en apprend sur nos habitudes et nos préférences, plus il sera à même de nous suggérer des idées de repas ou des plans de sortie pour le weekend. Et plus il nous fournit du contenu qui nous intéresse et s’abstient de délivrer ce qui nous intéresse moins, plus nous sommes amenés à l’apprécier et lui faire confiance.

Et pourtant, en dépit de la belle promesse faite par les promoteurs de ces assistants numériques, ils sont vecteurs d’importantes préoccupations sociales, politiques et économiques. L’objectif de la plateforme de Google, comme l’indique The Guardian, est très clair: construire “un futur où les humains réfléchissent moins aux petits décisions qui font leur quotidien”. Pour fonctionner de manière optimale, l’assistant numérique va vraisemblablement devoir opérer à partir d’une des plateformes existantes afin d’en récupérer la masse d’informations personnelles et de services que cette plateforme offre. Quatre super-plateformes dominent aujourd’hui le monde du web: Google, Apple, Facebook et Amazon (les GAFA). Rien de surprenant dans le fait que chacune d’entre elles tentent d’imposer sa solution (Apple: Siri, Amazon: Alexa & Echo, Facebook: M, Google: Assistant & Home) comme l’assistant de référence dans nos cœurs et nos foyers.

Pourquoi chaque plateforme bataille-t-elle dur pour être le leader sur ce marché? Plus nous comptons sur notre assistant, plus il collecte de données sur nous, plus ses algorithmes ont d’opportunités d’apprendre, et plus l’assistant sera à même de prévoir nos besoins et d’identifier les services pertinents pour nous. Plus nous utilisons l’assistant, plus nous le rendons puissant.

L’Amazon Echo et l’Alphabet Home coûtent chacun moins de 200€, et ce prix va vraisemblablement baisser dans le futur. Du coup, qui va payer le salaire de cet assistant (le produire et faire tourner les serveurs permettant son fonctionnement coûte très cher)? Qui va en couvrir les frais? Très probablement les annonceurs (la publicité). L’assistant pourrait recommander des produits ou des services qui profitent directement à l’intérêt financier de la super-plateforme, plutôt qu’à notre intérêt à nous. En servant son vrai maître — le GAFA — l’assistant pourrait fausser, déformer notre perception du marché, de la réalité, et nous mener vers des produits et services que son maître désire promouvoir.

Mais les nuisances potentielles dépassent largement le cadre des résultats de recherche biaisés ou de la publicité abusive. Le pouvoir économique (celui de vous faire consommer certains produits/services) croissant des GAFA peut rapidement se transformer en pouvoir politique (celui d’orienter vos comportements citoyens). A mesure que nous compterons de plus en plus sur un ou deux assistants digitaux, les GAFA vont en apprendre encore plus sur nos convictions politiques et auront le pouvoir d’influencer notre compréhension et notre vision du monde ainsi que le débat public.

Rag dolls and one blue Free Photo

Si vous êtes l’un des 1,8 milliard d’utilisateurs Facebook dans le monde, l’entreprise collecte des données sur ce que vous et vos amis faites, en ligne et hors ligne, sur toutes les informations que vous fournissez (et il y en a bien plus que ce que vous partagez consciemment), sur vos appareils connectés, vos habitudes de connexion, vos likes, partages, et bien plus encore. Certaines informations sont partagées avec vos amis, certaines sont partagées avec des parties tierces, et une partie de ces informations est utilisée pour en déduire vos penchants politiques sur base de votre activité.

En 2012, Facebook a mené une étude dans laquelle elle manipule le file d’actualité de certains utilisateurs pour examiner de quelle manière les gens transmettent les émotions positives et négatives aux autres. Lorsque Facebook a réduit subrepticement la quantité de contenu positif dans les fils d’actualités, les statuts des utilisateurs furent eux-mêmes également moins positifs; et lorsque Facebook a réduit de la même manière le contenu négatif, les utilisateurs furent moins négatifs.

Si Facebook a le pouvoir d’influencer l’humeur et l’engagement de ses utilisateurs simplement par la promotion de certains contenus sur leurs fils d’actualités, imaginez le pouvoir qu’ont et auront les assistants digitaux à l’avenir pour influencer nos émotions, nos sentiments et nos comportements!

En cajolant et en complimentant, en nous encourageant à partager avec les autres, en envoyant des notes personnalisées en notre nom, les GAFA et leurs assistants peuvent potentiellement affecter notre humeur et celle de nos amis. Mais au-delà de ça, comme il est régulièrement rapporté depuis un moment déjà, la personnalisation de notre flux d’actualité peut affecter notre vision du monde et nos opinions politiques, économiques et sociétales.

Alors que nous accueillons les assistants digitaux à bras ouverts dans nos vies, dans nos maisons, nous en apprécions la gratuité. Mais nous n’en connaissons pas précisément les coûts. A mesure que l’assistant digital s’impose dans notre quotidien, il modifie notre lecture et notre vision du monde. En rédigeant des posts pour nous, en suggérent des ‘likes’ pour des posts rédigés au nom d’autres personnes, l’assistant digital peut très efficacement nous manipuler. Le psychiatre Eva Ritvo écrit dans Psychology Today: “Avec deux milliards de ‘likes’ par jour et un milliard de commentaires, Facebook stimule la libération de dopamine en quantités importantes et offre en même temps une cure efficace contre la solitude et l’isolement.” Imaginez la décharge de dopamine le jour où votre assistant personnel vous permettra de battre votre record de likes sur une publication politique qu’il vous aura suggérée ou aura rédigée pour vous! Vos amis ne sauront pas que c’est l’assistant qui est à l’origine de la publication, vous en retirerez tous les bénéfices immédiats en terme de popularité ou de statut d’animateur ou d’influenceur. Et personne ne saura dans quelle mesure ce discours politique influencera l’opinion publique plus large dans un sens qui bénéficie aux GAFA. On extrapole ensuite cela aux presque 2 milliards d’humains connectés au réseau social pour commencer à mesurer l’impact potentiellement désastreux de telles pratiques.

Les assistants digitaux ont sans aucun doute beaucoup à offrir et énormément de potentiel utile. Mais cette nouvelle grande étape technologique ne sera pas toute rose et bienveillante. Plus nos assistants digitaux contrôleront certains aspects banals de notre quotidien, plus il deviendra compliqué de les éteindre et de s’en passer. Il va être de plus en plus tentant de se reposer sur eux pour l’actualité que nous consultons, les séries que nous regardons, les choses que nous achetons, et même ce que nous disons. Nous pourrions avoir l’impression de gagner en liberté d’expression et d’action. Et pourtant, nous sommes de plus en plus sous l’influence de la main invisible numérique des GAFA, sans se rendre compte de son impact sur notre bien-être, tant au niveau personnel qu’au niveau de la société toute entière.

#GAFA

#privacy