(Conférence) Enjeux politiques et sociologiques des Big Data et du Machine Learning
On y était. Vendredi 24 mai 2019, une journée d’étude sur le thème « Big data et apprentissage machine : enjeux sociologiques, enjeux politiques », était organisée à l’ENS de Lyon à l’initiative de Antoine Larribeau et Corentin Roquebert (voir en bas de page). Nous avons pu en assister à une partie seulement, en l’occurrence la matinée consacrée à “l’humain derrière la machine” (alors que l’après-midi était consacré à “la science derrière les machineries”), ce qui rendra nécessairement ce compte-rendu incomplet. Où il est question du pouvoir politique de la statistique, des algorithmes reproducteurs d’inégalités, de la “mécanique” d’une machine apprenante, et de police prédictive.
Dans un contexte de multiples controverses sur les effets, dynamiques et finalités des Big Data et du machine learning, l’objectif de cette rencontre était de “prendre du recul pour prendre au sérieux les enjeux de pouvoir et de production du savoir qu’induisent ces nouvelles données et méthodes statistiques”. En d’autres termes, prendre la mesure des ruptures épistémologiques induites par cette révolution technologique et sensibiliser sur leur dimension politique.
Un programme alléchant sur le papier et une initiative bienvenue sur le territoire lyonnais constituaient deux raisons suffisantes pour ne pas passer à côté de cette rencontre (trop ?) académique, conforme en tous points au standards de l’exercice : panel de chercheurs, interventions à la chaîne (offrant quelques prouesses de gymnastique intellectuelle pour assurer les transitions), questions polies et buffet de viennoiseries au fond de la salle.
On regrettera, malheureusement, un objectif certainement trop ambitieux au regard du format, du panel et de la densité des concepts mobilisés (données, traces numériques, quantified-self, objectivation du réel, algorithmes, etc.), par ailleurs trop rarement définis. Impossible dans ce cadre-là de saisir la complexité et la globalité des enjeux politiques et sociologiques du Big Data, ce qui s’entend aisément (à ce propos, et afin d’y voir plus clair, on ne recommandera jamais assez les travaux de Dominique Cardon ou la brillante synthèse proposée par Yves Citton en début d’année dans un ouvrage collectif). Difficile aussi d’y piocher réellement de nouvelles clés de lecture, ce qui fut en revanche plus décevant…
Ceci dit, cette demi-journée d’étude fut toutefois l’occasion d’insister sur quelques fondamentaux. À commencer, par exemple, par l’idée que la production d’un algorithme constitue par nature un acte social et politique et, par conséquent, que les discours soutenant une prétendue neutralité axiologique de ces outils sont à fuir comme la peste ! Elle fut surtout l’opportunité de mettre en lumière les travaux de certains chercheurs. Au final, ce compte-rendu (banalement chronologique) visera donc moins à fournir des repères théoriques que que de renvoyer vers quelques billes et ressources proposées par les orateurs sur les sujets abordés.
Partir de l’histoire de la sociologie des statistiques… et après ?
En introduction de la journée, le sociologue Emmanuel Didier a rappelé la triste anecdote de la tuerie de San Bernardino et le conflit qui opposa à cette occasion Apple et le FBI afin de d’illustrer, pour qui en doutait encore, qu’il est un leurre de croire que l’amélioration technologique se suffit à elle-même pour résoudre nos problèmes sociaux. À cette occasion, la firme avait refusé de prêter assistance au FBI pour débloquer l’iPhone de l’un des auteurs présumés de l’attaque terroriste afin de garantir la confidentialité de ses usagers, renvoyant ainsi la question sur le terrain juridique au cours d’un bras de fer de plusieurs semaines avec l’administration.
Dans ce contexte, le propos d’Emmanuel Didier aura été d’inscrire la sociologie des Big Data dans la continuité de la longue histoire de la sociologie de la statistique comme moyen de nous aider à comprendre comment les données transforment la société (et, en miroir, comment la société ou le pouvoir peut éventuellement s’en assurer la maîtrise).
Convoquant largement Alain Desrosières, pape de la discipline et auteur de l’incontournable La Politique des grands nombres (1993), Emmanuel Didier a rappelé que quantifier c’est à la fois convenir (c’est à dire établir des catégories) et mesurer (c’est à dire appliquer une méthode). Ce qui revient, dans les deux cas, à faire un choix sur la base d’un “entrelacement de croyances, de manière de penser et d’agir sur le monde”. C’est à dire à poser un acte social. De ce point de vue, l’exemple de la quantification du chômage est toujours le plus éloquent puisque sur cette question ni les catégories administrativement “convenues” (A, B, C, D, E, etc.) ni la méthode de mesure utilisée (enquêtes par sondage) ne font nulle part consensus. La démarche tout entière est pourtant capitale pour l’individu ou le citoyen car c’est elle, et uniquement elle, qui donne accès à des droits.
Autre exemple intéressant mobilisé pour illustrer en quoi et comment la quantification transforme la société : le cas de la vague de suicides à France Télécom en 2008 et 2009. À l’époque, devant l’émotion suscité en interne — et au delà — par le phénomène, l’Observatoire du stress et des mobilités forcés (un organe créé par des salariés syndiqués de France Télécom) déploie au sein de l’entreprise une méthode de remontée d’information permettant d’identifier 19 cas de suicides. Un chiffre repris par la presse, pris en compte par la justice et largement imprimé dans les consciences collectives. Les travaux de René Padieu (INSEE) auront beau montrer par la suite que ce chiffre (considérant l’importance du nombre de salariés chez France Télécom) ne présente pas d’irrégularité statistique avec le taux de suicide moyen observé dans les entreprises françaises, l’impact médiatique et l’émotion populaire suscitées par l’affaire, et donc par ce chiffre de 19 cas, ont été telles que les effets se sont produits tout de même (fort heureusement, on peut le dire !). À savoir, la mise en accusation et la restructuration du management dans l’entreprise. Tout choix de quantification relève donc à la fois d’un choix épistémologique (qui génère la création d’un type de connaissances, en l’occurrence une comptabilité morbide particulière, dans cadre temporel et géographique particulier) mais aussi et surtout d’un choix politique (dont la finalité est de produire des effets).
Pour en revenir à Desrosières, l’exposé d’Emmanuel Didier aura été l’occasion de (re)mettre en exergue la table de relation lumineuse proposée par l’auteur, dans une approche historique, entre les formes de statistiques propres à chaque type d’organisation étatiques et leurs conséquences sur la façon de penser la société et l’économie, (Gouverner par les nombres, Chapitre 1 : Les mots et les nombres : pour une sociologie de l’argument statistique, 2008).
On restera sur notre faim pour la suite de l’exposé. Emmanuel Didier appellant lui-même à dépasser Alain Desrosières, à juste titre mais sans nous dire comment, au motif limpide que de nombreuses quantifications ne sont désormais plus produites dans le cadre de l’État. Il en va évidemment des données de masses produites par les entreprises et plateformes numériques (en premier lieu les GAFAM). Il en va aussi, dans une moindre mesure, des initiatives militantes (au sens où la production de données en vue de construire et s’approprier une puissance politique est un objectif assumé) rassemblées dans le mouvement datactiviste, qu’Emmanuel Didier a plus spécifiquement étudié au prisme de la statistique dans son ouvrage Statactivisme (2014, avec Isabelle Bruno et Julien Prévieux).
Nous n’en saurons malheureusement pas plus, au final, sur les “zones et espaces qui restent hermétiques à la quantification” évoquées par l’orateur, ni sur les raisons qui expliquent cette préservation. Avec le sentiment de se trouver au milieu d’un pont en construction, on regrettera surtout l’absence de pistes concrètes permettant de relier ou de prolonger la sociologie des statistiques pour pouvoir l’appliquer aux Big Data.
Reproduction des inégalités : un double front technologique et éthique, et en avant la fleur au fusil.
Le deuxième temps de la matinée proposait, autour de Cécile Favre (docteure en informatique), un éclairage sur les Big Data et le machine learning au prisme du genre. Plus généralement, c’est la thématique de la reproduction des inégalités par les algorithmes, un autre angle d’attaque commun contre le discours persistant de leur supposée neutralité, qui était ici convoquée.
“En fait, les calculateurs donnent à la société les moyens de reproduire d’elle-même les inégalités et les hiérarchies qui l’habitent” (Dominique Cardon, À quoi rêvent les algorithmes, Seuil, 2015)
L’exposé aura proposé, façon catalogue, une foule d’exemples à charge, dont certains sont éloquents. On retiendra en particulier, contre Google, celui des différences de résultats proposés par le moteur de recherche selon que la requête porte sur le terme “gay” (résultats orientés définitions et lieux de rencontres) ou “lesbienne” (résultats exclusivement orientés pornographie).
Contre Amazon, on retiendra en particulier l’échec du projet d’algorithme de recrutement par intelligence artificielle testé en 2018. Entraîné sur la base de données existante de la firme, largement composés d’hommes blancs, il avait reproduit les discriminations déjà existantes dans la société, en commençant par pénaliser les CV contenant le mot “femme”. Un biais possible à corriger en soit, mais qui ouvrait la boîte de Pandore : quels autres préjugés, au-delà du sexe, pouvaient entrer en compte ? comment les corriger équitablement ?
L’exposé n’aura malheureusement fait qu’effleurer la complexité l’enjeu éthique posé par ce type de controverses, pourtant illustré à merveille dans les exemples de Google ou d’Amazon, au delà de l’enjeu technologique. Google assume de faire confiance à son intelligence artificielle et, par conséquent, que le principe de prédiction précède celui de recommandation, mais il existe malgré tout de nombreuses exceptions. Si certaines prédictions sont en principe censurées (celles renvoyant, par exemple, vers des contenus incitant à la haine ou aux agressions sexuelles), c’est que certains résultats sont écartés a priori et sur la base de critères éthiques pré-établis. Que ces critères, au sein des différents dispositifs d’intelligence artificielle existants, ne prennent pas suffisamment en compte les préjugés de genre, de race ou d’orientation sexuelle relève à la fois d’une question technologique et d’une question éthique (quels critères sont légitimes ? lesquels ne le sont pas ? comment les prendre en compte ou, le cas échéant, contraindre des acteurs à les prendre en compte ? etc.).
Implacables sont les constats, incontestablement bonnes sont les intentions. Mais, à l’instar du débat autour de l’éthique qui anime actuellement la communauté du design, cet exposé aura donné le sentiment qu’on semble loin de distinguer et de réaliser la portée des implications politiques et épistémologiques d’une possible tentative de régulation “éthique”.
Au final, l’intérêt de la séquence aura aussi été de faire le point, à l’initiative de l’oratrice, sur la composition de l’assistance. À la louche, une trentaine de personnes présentes, dont les ¾ sont issues des SHS, probablement quelques profanes. On n’assiste pas à une grande messe des développeurs, mais on se réjouira de constater que la question des transformations numériques percute de plus en plus le champ des sciences humaines.
Comprendre la conception d’une machine apprenante comme un chaînage algorithmique
Auteur d’une thèse sur la sociologie des intelligences artificielles marchandes à l’ère du big data, Jean-Sébastien Vayre proposait, dans le troisième temps de la matinée, de décrypter (pour mieux les démystifier) les performances prédictives des applications marchandes du machine learning. Un secteur dans lequel, on en conviendra, ces performances sont tout particulièrement vantées, promesses économiques oblige. En tout cas nettement plus que les conditions de travail et d’existence des “travailleurs du clic”, dont le sociologue Antonio Casili a récemment montré le rôle indispensable dans l’entraînement et la performance de ces intelligences (qui n’ont bien souvent d’artificielles que le nom).
Dans la lignée de l’intervention inaugurale, l’orateur s’est attaché à démontrer que le machine learning est un mix de raisonnements cognitifs et de choix politiques.
Proposant de “soulever le capot”, il décrit et systématise la démarche de conception d’une machine apprenante comme l’articulation de trois chaînages algorithmiques successifs. Premièrement, dans un environnement d’apprentissage (collecte de données ou de traces par des sondes, nettoyage et raffinement) : c’est le mode d’attention que la machine porte sur le monde. Deuxièmement, dans un environnement de traitement (régression, réseaux de neurones, random forest, SVM, moteur d’inférences) : c’est le calcul en tant que tel. Troisièmement, dans un environnement politique : c’est le choix des critères d’optimisation sur lesquels reposent l’auto-évaluation des performances des apprentissages.
Décrivant ainsi un véritable processus de socialisation algorithmique à trois étages, on retiendra du propos que, dans le cas des applications marchandes du machine learning, il est clair que ces machines sont productives. Loin de prédire des futurs économiques, elles travaillent à les faire advenir. Par conséquent, le chaînage algorithmique décrit a pour principale fonction de consolider un mode d’intervention marchand qui, en soit, n’est pas indiscutable.
S’ouvre alors un champ de recherche important car comprendre comment elles les produisent, c’est comprendre les formes de leur socialisation.
Focus sur un cas d’application : la police prédictive aux États-Unis.
La matinée s’est achevée par une communication de Bilel Benbouzid, chercheur l’IFRIS en sociologie de la prédiction. L’occasion d’aborder un exemple d’application des technologies de Big Data et de machine learning, encore balbutiant en France mais déjà bien concret aux États-Unis.
Commençons par rappeler que la sociologie de la prédiction est (logiquement) une discipline à peine émergente compte tenu de l’arrivée relativement récente du phénomène. Les acteurs de la prédiction, eux, n’ont évidemment pas attendu les chercheurs pour s’installer. En attendant la structuration de la discipline, ce sont actuellement les juristes et les activistes qui, seuls, tiennent le haut du pavé pour jouer le rôle de régulateurs en face des états et des entreprises spécialisées.
À l’instar d’Alain Desrosières avec la quantification, Bilel Benbouzid propose de déconstruire la prédiction comme un processus en trois temps successifs. Prédire, c’est d’abord apprendre, puis débiaiser, puis prioriser. Or il y a, à chacune des étapes du processus, un acte de quantification.
C’est aujourd’hui autour du débiaisement que se concentrent l’essentiel des innovations (et, indirectement, l’essentiel des créations de start-up du marché), si l’on considère que l’apprentissage est relativement mature (le crime est un phénomène assez stable, dont les logiques et les dynamiques sont sociologiquement et statistiquement connues, même si le machine learning tournera à plein régime pour affiner ces modèles) et que la priorisation — c’est à dire l’orientation de l’action publique — reste la prérogative des autorités (mais pour combien de temps encore ?).
Le logiciel de prédiction de PredPol (abréviation de “predictive policing”), par exemple, s’est inspiré de l’algorithme du sismologue français David Marsan (créé pour la prévention des séismes). Sans chercher à donner une vision exhaustive de ce marché, il faut aussi connaître Palantir (dont les solutions ont été utilisées par la DGSI entre 2016 et 2018, malgré les risques d’espionnage et d’atteintes à la souveraineté…) ou encore Hunchlab (qui propose une solution d’optimisation des patrouilles de police, que la firme cherche désormais à optimiser avec la prise en compte des “externalités négatives”).
D’un point de vue historique, l’injonction à produire et se baser sur des métriques pour orienter l’action policière, comme le reste de l’action publique, trouve naturellement ses origines dans le mouvement de progression de la mesure statistique à tout l’espace social (cf. Desrosières, toujours). L’approche traditionnelle, celle des quotas, s’est vu fortement délégitimée par les mouvements sociaux de lutte contre les discriminations à la fin du XXème siècle. La police prédictive, théorisée par William Bratton (ex-commissaire de New York dans les années 90, désormais haut-fonctionnaire à la sécurité intérieure des États-Unis), a profité de l’opportunité technologique pour sortir de cette impasse et dessiner de nouvelles perspectives pour une police proactive (ou productiviste, pour reprendre les conclusions de Jean-Sébastien Vayre sur le mythe de la prédiction pure et neutre, exprimées plus tôt dans la matinée).
D’un point de vue théorique, dans l’esprit de Bratton, la police prédictive est un subtil dosage entre des contrôles dosés et une sécurité distribuée (c’est à dire, puisqu’un flic ne peut être placé derrière chaque citoyen, la répartition de “l’offre de police” sur la base de critères rationnels). Deux prérogatives régaliennes sciemment déléguées à des entreprises privées, car seules en mesure de fournir le niveau d’intelligence technologique nécessaire pour garantir ce subtil dosage. À titre d’exemple, PredPol est déjà bien positionné sur ses deux axes. Pour doser les contrôles, d’abord, un véritable dosimeter a été développé et fourni à la police. Pour distribuer la sécurité, ensuite, un large panel de critères — notamment l’impact émotionnel ou encore le coût économique des crimes pour la société (magique exercice de quantification qui permet par exemple de chiffrer un meurtre à 1.383.255 dollars, tandis qu’un viol coûte “seulement” 44.629 dollars) — est également proposé pour aider les forces de police à répartir leurs interventions.
Le risque, dans ce scénario, c’est que la création de métriques progresse moins vite que le besoin de métrique. C’est l’escalade prédictive. C’est qu’abandonner une fois la souveraineté régalienne signifie l’abandonner définitivement. Convoquer l’exemple de la police prédictive dans le débat sur les enjeux politiques et sociologiques du Big Data et du machine learning, revient ainsi à observer son champ d’application le plus sulfureux. Avec le développement de la police prédictive, les entreprises privées se sont en effet avancées comme rarement dans la participation à la définition de l’action publique, sans que les effets n’en aient été évalués (et encore moins débattus).
Naturellement, ce glissement prédictif devrait s’accompagner d’une transformation des méthodes et des outils (déjà à l’oeuvre en France, avec un coup d’avance à Saint-Etienne qui teste actuellement l’installation de capteurs sonores). Sans surprise, il laisse deviner une police futuriste, suréquipée, presque cyborg.
Dans la logique de prédiction, l’optimisation des actes est directement corrélée à la diminution de la présence policière (en tout cas dans les formes que nous connaissons actuellement). En d’autres termes, la promesse d’une police prédictive citadine ressemble à la présence d’unités mobiles discrètes, embarquée dans des véhicules autonomes dont les parcours optimisés par intelligence artificielle sont établis en fonction de l’intensité du risque sur le territoire couvert, selon une infinité de variables statistiques (à commencer par l’heure, le climat, le contexte, la présence de groupe, etc. mais aussi l’identification de comportements suspects). Dans ce contexte-là, où le déclenchement de l’opération ou de l’acte policier est autorisé et légitimé (pour ne pas dire “commandé”) par l’intelligence artificielle, on imagine aisément la nature… chirurgicale des interventions.
Sortons de ce mauvais rêve. Si cette matinée à l’ENS n’aura pas permis de comprendre les enjeux politiques et sociologiques du Big Data dans toute leur complexité, au moins aura t-elle attisé le besoin de ne cesser de chercher à les saisir.
Skoli.
— — —
Merci aux organisateurs de cette journée d’étude :
Antoine Larribeau, étudiant à l’ENS de Lyon, notamment auteur d’une étude récente sur la socialisation au hacking informatique, publiée dans la revue Sociologies Pratiques.
Corentin Roquebert, doctorant à l’ENS de Lyon, auteur d’une thèse en préparation sur L’espace social des catégories profanes de perception des groupes sociaux, sous la direction de Bernard Lahire.
— — —
(Crédit photo de couverture : Marie Piessat)
