Cinquante sondages, et cinq observations
Depuis juin 2020, cinquante sondages d’intentions de vote pour l’élection présidentielle de 2022 ont été publiés. L’occasion d’un premier bilan sur la publication de ces sondages, et sur le projet NSPPolls.
Le projet NSPPolls a été lancé au printemps pour suivre les sondages publiés, aussi bien pour les élections régionales que pour l’élection présidentielle qui s’annonce. Cinquante sondages ajoutés les uns après les autres dans une base de données publiée sous licence libre pour faciliter leur agrégation, leur reprise et leur analyse.
Depuis le 19 juin 2020, plus de 2600 intentions de vote ont été enregistrées, par huit instituts différents, des centaines d’hypothèses… et beaucoup de reprises par les médias. J’en tire plusieurs observations, que je liste ici.
Observation 1 : un manque de nuance des médias
Dans de nombreuses reprises, les médias ne font guère d’effort pour apporter de la nuance requise par l’exercice. Le Parisien a ainsi fait une une sur Eric Zemmour, annonçant qu’il dépassait le candidat de droite, alors que trois candidat·es sont dans un mouchoir de poche, compte tenu des intervalles de confiance. Pire, lorsque la marge d’erreur est évoquée, c’est pour prévenir qu’en les prenant en compte Eric Zemmour serait même « au bord de la qualification », et non pour relativiser les chiffres exclusifs placés en une.
On retrouve le manque de nuance du Parisien dans son agrégateur – qui reprend d’ailleurs les chiffres que nous agrégeons – mais présente les sondages avec des belles barres bien nettes, sans mention de la taille de l’échantillon, semblant dire que tous les sondages sont réalisés dans les mêmes conditions, avec les mêmes méthodes et sur les mêmes populations.
Dans Le Monde, on faisait bien mention des marges d’erreur dans les infographies présentant les résultats du sondage le 24 avril dernier, mais en tout petit, comme dans les contrats douteux, et sans une vraie précision. Les barres sont elles bien nettes, tout comme les chiffres, qui sont arrondis.
Les choses, heureusement, évoluent. Dans la dernière mouture de leur enquête, publiée le 22 octobre, avec Ipsos et le Cevipof, les marges d’erreur sont évoquées dès le premier paragraphe, et mises en avant dans un graphique, oblitérant même la sacro-sainte intention de vote médiane. Un effort bienvenu, surtout quand on voit certaines barres et autres camemberts présentés à la télévision…
La représentation graphique de ces incertitudes donne également lieu à des réflexions chez certains sondeurs, qui essaient de proposer dans leur notice une visualisation beaucoup plus claire des marges d’erreurs. C’est le cas par exemple de BVA ou d’Elabe. Ce qui n’empêche pas BFM de diffuser des chiffres sans mention de la marge d’erreur, même si elles sont parfois évoquées à l’antenne, par le patron d’Elabe.
On peut noter que la loi impose depuis quelques semaines que l’indication de l’échantillon et des marges d’erreurs qui peuvent en être déduites doit être systématique. La commission des sondages n’a pas encore sévi sur d’éventuels manquements. Au-delà de ces obligations légales, je pense que réfléchir à ces représentations visuelles des intervalles de confiance permet aussi de rappeler l’incertitude tant autour des chiffres que de la méthode.
Observation 2 : une remise en question scénarisée
Il y a un marronnier dans les campagnes électorales, c’est le moment où on remet en cause les sondages. Parfois c’est au lendemain des élections, lorsque les chiffres des sondeurs sont éloignés des résultats. Parfois, c’est au cœur de la campagne. On a parfois l’impression d’être au théâtre de guignol, avec les instituts de sondage qui acceptent de se faire taper dessus, voire même de s’auto-flageller. Cependant, la fin est en effet toujours la même : une majorité des médias continuent à commander ou commenter les sondages.
On a vu ainsi Brice Teinturier, patron d’Ipsos, qui est interpellé par Le Parisien pour répondre à la question « Quel crédit apporter aux sondages qui donnent Eric Zemmour à 15% ? ». Deux semaines après les avoir placardé en une, Le Parisien s’interroge, mais rassurez-vous, tout va bien selon Brice Teinturier, de l’institut Ipsos, qui a réalisé le sondage : « L’enjeu, c’est beaucoup plus la qualité de la représentativité de nos échantillons, c’est ça notre obsession. Il faut que nos échantillons soient le plus parfait possible. » Le même Brice Teinturier a également été convoqué par franceinfo pour faire l’auto-critique du même sondage, commandé également par franceinfo.
Eric Zemmour a d’ailleurs permis un petit tour de piste des sondeurs pour questionner la pertinence des sondages à six mois d’une élection… Les médias ont multiplié les décryptages, critiqué les résultats des élections précédentes, et n’ont pas manqué, en conclusion de rappeler que les sondages ne sont pas des prédictions, mais qu’ils sont bien des « photographies à l’instant t » de l’opinion. Parfois, les décryptages côtoient les articles politiques qui s’alimentent toujours autant de sondages. Et tout est prêt pour continuer comme avant.
Ce petit tour de piste nous a permis d’apprendre cependant que France Inter ne commanderait pas de sondages pour cette élection. Ce qui n’empêche pas certains invités d’être interrogés sur ces sondages… En 2017, Le Parisien avait fait un tel choix, avant de revenir dessus pour l’élection présidentielle 2022. Le Monde annonce également qu’il ne reprendra pas « au quotidien » les sondages commandés par d’autres, se contentant des douze volets de son enquête avec Ipsos et le Cevipof.
Observation 3 : quel rôle pour les sondages ?
À mon niveau, je n’ai pas encore compris à quoi servaient les sondages. On nous serine avec l’expression « photographie à l’instant t de l’opinion », mais que veut-elle dire ?
« Par définition, les sondages d’opinion ne se trompent jamais car on ne peut pas les comparer à un phénomène réel. Or ils ont de bonnes chances de dire n’importe quoi, et les gens les interprètent comme une prédiction », relève Daniel Gaxie, professeur émérite à l’Université Paris 1-Sorbonne, interrogé par Mediapart.
On a bien compris que les sondages ne permettent pas de prédire l’élection présidentielle. Et qu’il faut bien se garder de les voir ainsi. Mais on voit aussi des expressions comme « si l’élection avait lieu dimanche » (spoiler : elle n’a pas lieu dimanche) qui nous place dans des réalités alternatives, créées par les sondeurs et ceux qui les commandent. Et on observe, par exemple, que Les Républicains a essayé de s’en remettre à un sondage pour désigner son candidat…
Ajoutons à cela que, selon les recommandations du CSA, la répartition du temps de parole accordé aux candidat·es dans la période d’équité se fait notamment en fonction des « indications de sondages d’opinion ».
On voit bien que le rôle de ces sondages n’est pas clair quand on suit les critiques lancées par Jean-Luc Mélenchon, candidat de la France insoumise contre certains instituts – ceux qui ne se concentrent que sur les électeur·ices certains d’aller voter. La méthodologie effacerait ainsi les intentions de vote des classes les plus populaires, qui se décideraient plus tard à voter. Manuel Bompard et Raphaël Qnouch se sont rendus devant la Commission des sondages pour plaider leur cause, sans effet pour l’instant.
« Effacer les milieux populaires et donner le pouvoir d’injonction du sens du vote aux milieux dominant c’est davantage un projet politique qu’une méthode scientifique d’évaluation », plaide Jean-Luc Mélenchon sur son blog.
On ne peut que donner raison au candidat quand les sondages sont enfilés les uns derrière les autres, sans précautions de lecture, laissant entendre qu’un sondage a été réalisé dans les mêmes conditions que celui paru le jour d’avant.
On pourrait également considérer que les sondages n’interrogeant que les personnes certaines d’aller voter permettent de montrer autre chose que ceux interrogeant un millier d’inscrits. Encore faudrait-il, là encore, accepter la nuance. Dans notre compilation, nous distinguons d’ailleurs les deux méthodes, et elles ont en effet des conclusions différentes.
« On peut débattre de tout, sauf des chiffres », martèle une communication gouvernementale. Ça n’a jamais été aussi faux, il faut bien sûr débattre des chiffres, interroger leur sens et leur périmètre et les utiliser à bon escient.
Observation 4 : l’agrégation visuelle est difficile
Toutes ces interrogations font qu’aujourd’hui, le projet NSPPolls qui a été imaginé au départ comme un agrégateur, mais aussi un outil pour remettre les chiffres en contexte. Nos chiffres ont été repris par plusieurs médias, comme Contexte, Le Figaro, Le Parisien, entre autres, et par d’autres acteurs, comme Datapolitics ou datatracking.io.
J’ai hésité à mettre en forme tous ces chiffres que je collecte, mais chaque tentative me fait entrer dans une foule de paradoxes. Est-il logique de présenter une agrégation visuelle de sondages, avec un “score moyen” alors qu’on dit que les différents sondages ne se valent pas ? Comment distinguer les différentes hypothèses ? Comment visualiser les sondages en n’oubliant pas de figurer l’incertitude qui les entourent ? L’aiguille développée par le New York Times pour ses soirées électorales est un bon contre exemple.
Il y a la tentation chez certains de faire des courbes bien lisses, de mettre des algorithmes apprenants dans la boucle, de comparer les résultats de septembre à ceux de l’élection pour noter les sondeurs… Mais cela n’est-il déjà donner une importance trop forte aux sondages ?
Je trouve qu’il y a des bonnes idées, comme la mosaïque déployée par Yann Guégan sur Contexte, qui permet de distinguer les hypothèses et d’adoucir le côté « course de chevaux » par un dégradé plus nuancé ou dans la présentation d’intentions de vote « moyennes », comme l’a fait Nicolas Mondon au Figaro, en fonction d’une durée, qui embarquent également les marges d’erreur, permettant de voir l’incertitude autour d’un·e candidat·e.
J’ai souvent constaté qu’il était très compliqué de montrer qu’une situation était incertaine, ou complexe. Les lecteur·ices ne sauront pas si c’est le journaliste qui n’a pas su expliquer, ou si c’est la situation qui est complexe. C’est pourquoi, pour l’instant, nous n’avons pas fait guère plus qu’une agrégation. Parfois, les mots sont plus pratiques que les images.
Observation 5 : Pourquoi pas plus de transparence ?
Poussés par les interrogations et les obligations légales, les médias et les instituts en disent toujours plus, mais y en a-t-il jamais assez ? Les questions sans réponses restent nombreuses, et nous essaierons d’y répondre ici aussi !
Comment les médias et les instituts choisissent-ils les candidat·es testé·es ? Il n’y a eu que deux sondages qui ont testé une candidature de Sandrine Rousseau, pendant l’entre-deux tours de la primaire écologiste mi-septembre, alors qu’elle était candidate depuis le 26 octobre 2020. Fivethirtyeight avait fait un tel travail de transparence et de pédagogie lors des élections de 2020.
Par ailleurs, au fil des hypothèses et des sondeurs, on voit apparaître certain·es candidat·es, notamment parmi les plus petits, sans que ne soit détaillé le choix, ou non, de les inclure. En tout, 32 candidat·es ont été testés au moins une fois : d’un côté Emmanuel Macron et Marine Le Pen ont été testé·es dans 190 hypothèses et de l’autre, Ségolène Royal, Rachida Dati et Denis Payre ont été testé·es dans une seule hypothèse.
Comment les médias et les instituts choisissent-ils les hypothèses de second tour qu’ils publient ? Lesquelles testent-ils ? Il y a quelques mois, Xavier Bertrand se targuait d’être en meilleure posture qu’Emmanuel Macron pour battre Marine Le Pen au second tour, même si aucun sondage ne le donne vraiment qualifié pour le second tour. Pourquoi ne pas expliquer quelles hypothèses de second tour ont été choisies, comment et pour quelles raisons, fussent-elles financières ?
Sur le sujet, la Commission des sondages donne d’ailleurs, dans son rapport annuel, deux raisons justifiant son choix d’autoriser des hypothèses non confirmées par les intentions de vote du premier tour : « La première est qu’alors que l’offre politique finale n’est pas “cristallisée”, de tels sondages de second tour peuvent avoir pour certains partis politiques une fonction de sondage de primaires. (…) La seconde raison de cette souplesse est consubstantielle à la réserve qu’il convient d’avoir quant au caractère prédictif des sondages, particulièrement lorsqu’ils sont administrés longtemps avant l’échéance électorale qu’ils visent. »
Souvent, dans mes articles, j’essaie de garantir une diversité, mais je constate aujourd’hui qu’il est difficile de trouver autre chose que des hommes blancs, moi compris, produisant, commentant, commandant, analysant ou exploitant les sondages. Manque de perséverance ou de diversité ?
