NSPPolls, pour vous aider à bien lire les sondages

Alors que les élections régionales et présidentielle se rapprochent, les sondages d’intentions de vote se multiplient. NSPPolls vous aide à bien les utiliser et à vous y retrouver, grâce à une remise en contexte toujours nécessaire et une indexation exhaustive.

Trois mains qui votent, une photo d’Arnaud Jaegers sur Unsplash

Chaque chiffre est une construction et charrie avec lui nombre de spécificités, liées notamment à sa construction ou à son recueil.C’est une des choses que la crise épidémique aura eu le mérite de nous apprendre : relativiser certains chiffres, prendre des précautions pour les remettre en contexte, regarder une évolution, une tendance, plutôt que de comparer deux points.

L’épidémiologiste Catherine Hill rappelle qu’on ne peut pas faire n’importe quoi avec les chiffres

Avec les sondages, c’est la même chose, il est plus prudent de les remettre dans leur contexte, et de les relativiser.

Pour bien cerner le contexte autour des sondages publiés ici et là, il est important de se poser quelques questions :

• Le sondage est-il réalisé dans de bonnes conditions ? En France, beaucoup de sondages utilisent la méthode des quotas, c’est à dire qu’ils interrogent un échantillon représentatif de la population française. D’autres sondages sont fait à la va-comme-je-te-pousse, comme par exemple Eric Brunet qui pose des questions à ses followers sur Twitter. Les followers d’Eric Brunet ne sont pas représentatifs de la population française, les résultats sont donc très approximatifs. On va se dire qu’ici, on ne s’intéressera qu’aux sondages réalisés par des instituts, qui sont d’ailleurs définis par la loi du 19 juillet 1977, modifiée en 2016.

• Qui a commandé le sondage ? Les sondages, comme beaucoup d’autres choses, sont avant tout une histoire d’argent. Les personnes qui commandent le sondage posent les questions qu’elles veulent, proposent les réponses possibles, ce qui peut influencer le résultat. Les sondages qui paraissent concernant les intentions de vote avant les élections peuvent être financés par des médias, des centres de recherche, mais aussi des partis politiques, les candidates et candidats, etc.

Les précisions sur l’intervalle de confiance données dans un sondage Ifop

• Combien de personnes sont interrogées ? L’idéal pour avoir un résultat fiable serait de demander à l’ensemble des électeur·ices concerné·es, mais il est coûteux d’interroger 40 millions et quelques de personnes. Les instituts de sondages trouvent donc un compromis en interrogeant une population représentative. Mais plus la population interrogée est faible (l’échantillon), plus l’estimation est approximative. Surtout que certains chiffres ne concernent parfois qu’une sous-partie de l’échantillon (« les jeunes », les électeurs de tels ou tels candidats, etc.), rendant les résultats encore plus incertains. Les résultats d’un sondage mené sur un bon millier de personnes sont donc plus précis qu’un sondage qui n’interroge que 200 personnes.
• Quel est l’intervalle de confiance ? On vient de le voir, la précision varie en fonction du nombre de répondant·es. Par convention, dans les médias, le chiffre indiqué est la médiane de l’intervalle de confiance à 95%. Pour être plus clair : les instituts de sondage obtiennent un chiffre à partir de l’échantillon et appliquent autour une fourchette de résultats dont ils sont sûrs à 95 %. La taille de l’intervalle varie en fonction de l’échantillon mais aussi du score. En vérifiant l’intervalle de confiance, on peut s’assurer qu’un·e candidat·e présenté·e en tête n’est pas dans le même ordre de grandeur que les candidat·es suivants.

Exemple de sondage, réalisé par l’Ifop, en région Provence-Alpes-Côte d’Azur, où les candidats en tête au premier tour sont dans le même intervalle de confiance

• Est-ce que les personnes sondées sont concernées par la question du sondage ? Pour que le sondage soit le plus précis possible, il faut que la question soit posée aux bonnes personnes. Dans le cas d’une élection, celles qui sont inscrites sur les listes électorales, par exemple, ou celles qui sont certaines d’aller voter. Dans le cas d’une élection locale, comme une élection régionale, il faut que les personnes interrogées votent dans la-dite région, etc.
• Quelle est la question posée ? On peut poser de nombreuses questions différentes dans un sondage, et toutes ne donneront pas la même réponse d’une même personne. Concernant une élection, on peut ainsi demander si la personne sondée « souhaite la victoire de… », si elle « serait prête à voter pour … » ou encore, si le premier tour avait lieu aujourd’hui, « si elle voterait plutôt pour … ou pour … ». Pour comparer plusieurs résultats, il faut donc que les questions soient équivalentes.

Exemple : L’hebdomadaire d’extrême-droite Valeurs Actuelles a commandé en février 2021 un sondage concernant le « potentiel électoral d’Eric Zemmour ». La question, qui est posée à 1019 Françaises et Français, inscrit·es ou non sur les listes électorales, est : « Seriez-vous prêt à voter pour Eric Zemmour s’il était candidat à la prochaine élection présidentielle de 2022 ? ».

Ainsi, la candidature de Zemmour n’est pas ici comparée à d’autres potentiel·les candidat·es, et certaines personnes qui ne voteraient pas ou ne peuvent pas voter donnent leur avis. Par ailleurs, les gens qui connaissent Eric Zemmour se doivent d’avoir un avis sur le sujet, à en juger par les réponses proposées par le sondeur (certainement / probablement / probablement pas / certainement pas / je ne connais pas cette personnalité).

• Combien de personnes n’ont pas exprimé d’avis ? Lorsqu’on vous pose une question et que vous ne connaissez pas la réponse, il est souvent plus simple de dire « Je ne sais pas ». Beaucoup font ce choix quand ils répondent aux sondages, mais rarement leur choix raisonnable n’est rappelé. Pourtant, cela affecte notamment la précision des résultats, puisque l’échantillon de personnes donnant leur avis est plus faible, mais aussi renseigne sur la pertinence de la question posée… Les sondages ne mentionnent pas toujours le nombre de sondé·es n’ayant pas donné de réponse – les fameux « ne se prononcent pas » ou « nsp » qui donnent leur nom à ce projet
• La question posée est-elle raisonnable ? Dans une élection régionale, les listes qui obtiennent plus de 10% des suffrages exprimés peuvent se qualifier au second tour et les listes qui obtiennent plus de 5% des suffrages peuvent fusionner avec les qualifiées. Les possibilités de second tour sont donc variées et encore plus imprévisibles que le premier tour. Les réponses à ces questions sont donc à prendre avec encore plus de précautions…

Un sondage en dit donc autant par ses résultats que par la manière dont il est élaboré, et la manière dont ces résultats sont utilisés. Un parti politique a intérêt aussi bien à jauger le potentiel électoral de ses candidat·es qu’à décrédibiliser celui de ses opposant·es, en multipliant par exemple les candidatures, et éparpillant les scores. Un journal a intérêt à prévoir des seconds tours pour avoir une information plus susceptibles d’être reprise… Autant d’éléments à prendre en compte en analysant un sondage.

« Une fois que l’enquête est faite et que j’ai les nombres, si je veux que mes nombres soient efficaces, j’ai intérêt à ne pas mettre ces métadonnées, j’ai intérêt au contraire à donner un nombre tout nu, qui est comme une balle de fusil, qui frappe… » – Alain Desrosières, statisticien, sociologue et historien de la statistique

NSPPolls a pour ambition de proposer, en vue des élections régionales et départementales, qui devraient avoir lieu en juin 2021, et de l’élection présidentielle en 2022, une compilation des sondages publiés dans la presse, assortis, notamment du commanditaire, de l’intervalle de confiance ainsi que du nombre de sondé·es n’ayant pas répondu à la question.

NSPPolls, ce sera plusieurs choses :

• des observations régulières, des chiffres dans leur contexte sur Twitter ;
• des analyses un peu plus détaillées, des explications sur un point précis sur Medium (ici) ;
• un dossier sur Github avec des fichiers JSON compilant tous les sondages pour les plus techno-aguerris ;

NB : nous ne sommes ni les premier·es, ni les dernier·es, à faire tout cela. Citons, parmi d’autres Wikipedia, dont les contributeur·ices compilent les sondages pour chaque élection (régionales et présidentielle), Polls of Poll qui a fait de même depuis quelques années, PollsPosition, qui a fait tout un travail autour des sondages en 2019 en France, avec notamment un podcast, le travail de Nate Silver et fivethirtyeight aux États-Unis et puis aussi les travaux d’Alain Desrosières, Patrick Champagne, de Pénombre ou d’autres…