Faut-il croire les sondages ?

Depuis l’élection présidentielle française de 1995 pour laquelle Edouard Balladur faisait figure de favori avant de chuter à celle de 2002 pour laquelle ils n’avaient pas vu la disqualification de Lionel Jospin ; du référendum sur le traité constitutionnel de 2005 à celui sur le Brexit cette année pour lesquels les camps du «oui» étaient donnés vainqueurs à tort, les sondages politiques sont sur la sellette, leurs méthodes de calcul réputées opaques inspirent souvent la défiance. Bref, faut-il croire les sondages ?

On a coutume de dire qu’un sondage est la photographie de l’opinion a un instant T. Certes mais tout dépend de ce que l’on entend par «opinion» et avec quelles méthodes sont collectées puis analysées et corrigées les réponses des personnes interrogées.

Dans l’ouvrage collectif «Histoire des nombres» (Ed. Tallandier), Loïc Blondiaux explique qu’«il faut distinguer l’invention du sondage, fondé sur l’étude d’un échantillon, de son application aux enquêtes d’opinion.» Et de pointer deux types d’échantillonnages. «Le premier a été mis en place au tournant du XXe siècle, dans les congrès de statistique internationale, qui ont reconnu la validité de l’échantillonnage aléatoire : il est tiré au hasard sur la totalité d’une population à étudier. Le côté rassurant de cette méthode est que l’on peut calculer une marge d’erreur. De fait, on l’a d’abord utilisée pour des enquêtes démographiques, pour calculer des taux de naissance ou de décès et pour des études appliquées à l’agriculture.

Méthode des quotas

Les sondages d’opinion, tels que nous les connaissons aujourd’hui en France, s’appuient sur une autre démarche, qui n’a été reconnue que dans les années 1920 : la méthode par quotas (dite encore par échantillon raisonné).» Selon une étude publiée en 1996, avec ce type de méthode, entre 1970 et 1979 la moyenne des erreurs lors des élections anglaises a été de 3 points de pourcentage pour la méthode des quotas contre 6,3 points pour les sondages aléatoires.

De fait, la majorité des sondages, en France et dans le monde, utilise cette méthode des quotas qui établit une corrélation entre certains caractères de la population. Par exemple dans le baromètre politique que La Dépêche publie chaque mois avec Odoxa, les critères retenus sont le sexe, l’âge et la profession de l’interviewé après stratification par région et catégorie d’agglomération.
Une autre donnée de sondages qui fait souvent polémique est la taille de l’échantillon. Plus les résultats sont serrés et plus ce critère est important. Car la marge d’erreur dépend de la taille de l’échantillon et du pourcentage observé. Par exemple, dans un échantillon de 500 personnes, si le pourcentage observé est de 20 %, la marge d’erreur est égale à 3,6 %, c’est-à-dire que le pourcentage réel est compris dans l’intervalle 16,4 %-23,6 %. Dans un échantillon de 1 000 personnes, si le pourcentage observé est de 20 %, la marge d’erreur est égale à 2,5 %. Le pourcentage réel est donc compris dans l’intervalle 17,5 %-22,5 %. Des différences qui pèsent lourd comme cette semaine où dans un sondage du Washington Post et d’ABC News, Donald Trump dépassait Hillary Clinton de 1 % mais avec une marge d’erreur de 2,5 %.

Corrections des données brutes

Dans la fabrique d’un sondage, les instituts apportent ensuite des corrections. Par exemple les données brutes sont corrigées des variations saisonnières pour tenir compte du contexte. En matière politique, les instituts corrigent les décalages entre les déclarations des personnes interrogées et la réalité des votes passés. C’est particulièrement vrai pour le vote Front national pour lequel déclarations d’intention de vote et votes réels divergent. Ce «redressement des résultats bruts» est particulièrement controversé et a été notamment mis en avant en 2002 lorsque Jean-Marie Le Pen s’est qualifié pour le 2e tour de l’élection présidentielle.
Enfin, la teneur des questions posées est de nature à influencer les réponses des sondés ; d’autant plus lorsqu’elles résument trop simplement des problématiques complexes. L’interprétation du sondage trouve alors là ses limites…

Les sondages électoraux très encadrés par la loi

Catégorie à part, les sondages électoraux sont encadrés par la loi 77–808 du 19 juillet 1977, qui a créé la Commission des sondages. Cette autorité administrative indépendante, composée de magistrats (membres du Conseil d’État, de la Cour de Cassation et de la Cour des comptes) et de deux personnes qualifiées , contrôle la qualité et l’objectivité de ces sondages, cadre leur élaboration et leur publication.

Il est ainsi toujours interdit de publier des sondages la veille et le jour d’un scrutin ; notamment lorsque certains bureaux de vote ferment à 20 heures quand une majorité a fermé plus tôt. Cela pose clairement problème puisque les médias étrangers francophones (suisses et belges) ont diffusé des résultats par exemple lors des dernières élections régionales, alors que les médias français ne pouvaient pas publier les mêmes éléments qui étaient pourtant en leur possession.

“Les instituts sont plus transparents”

Critiqués, les instituts ont pourtant amélioré leurs méthodes. Explications avec Erwan Lestrohan, directeur d’études chez BVA Opinion.

Le grand public n’attend-il pas trop des sondages ?
Le sondage est une photographie de l’opinion à l’instant T qui n’a pas valeur de prédiction, ni de pronostic. Il fait juste un état des lieux des opinions sur un sujet précis et il vise à représenter l’opinion d’une population de référents en se basant sur un échantillon construit à l’aide de quotas pour être représentatif. 1 000 personnes constituent un échantillon représentatif de la population française.

Après la collecte de données brutes, vous effectuez des corrections qui sont parfois mal comprises ou regardées avec méfiance.
Ces corrections, ce sont des redressements. C’est-à-dire que le quota n’est pas toujours strictement respecté sur le terrain. On peut se retrouver à ne pas avoir rempli le quota des 18–24 ans, des retraités et des femmes par exemple. Soit on continue à faire des interviews pour trouver une femme de 22 ans retraitée ; soit on fait une interview d’une femme, d’un retraité et d’un jeune. Du coup on peut avoir deux hommes de trop par exemple ; on applique alors un coefficient pour que le poids des femmes soit le même que dans la population française. Ce système est aussi appliqué dans les enquêtes politiques parce qu’il faut que l’échantillon reflète l’histoire politique.

Comment expliquez-vous les erreurs des sondages en 1995 ou en 2002 ?
Il faut quand même dire que les instituts ont fait amende honorable depuis une quinzaine d’années. Les notices des sondages sont d’ailleurs publiées par la Commission des sondages. Cela rompt avec la notion d’opacité et d’arrière-cuisine. Les instituts sont transparents sur leur méthode et n’ont pas fait d’erreur sur les dernières élections. En 1995, il y a eu deux phénomènes : le phénomène conjoncturel qui est qu’on ne prend pas une évolution suffisamment en compte, comme lorsque Jacques Chirac remonte en 1995. Mais quand Edouard Balladur avait été mesuré très haut, il était véritablement très haut. Ensuite, le corps électoral est mouvant en fonction des enquêtes : des gens nous disent qu’ils ne sont pas sûrs, qu’ils ne participeront pas à l’élection, etc. Une partie de la population fait son choix de vote dans les dernières semaines, donc l’échantillon change. En 2002 il y a eu un double effet : la non-prise en compte du durcissement de l’électorat vers le Front national et le délaissement de Lionel Jospin pour des candidats satellites. Le deuxième effet a été la difficulté de prendre en compte le vote FN. On ne rencontre plus cette difficulté depuis qu’on fait des enquêtes sur internet.

Justement, quel impact a eu internet sur votre travail ?
Autant au démarrage des enquêtes par internet, au début des années 2000, il pouvait y avoir un grand scepticisme sur la question, dans la mesure où tout le monde (ouvriers, 18–24 ans, retraités…) n’avait pas internet. Aujourd’hui, entre l’internet mobile, le haut débit et la démocratisation des équipements, on arrive à toucher une population extrêmement représentative. Depuis 2012, on est passé sur internet pour des questions de coût et de rapidité ; mais aussi parce que la déclaration des opinions politiques est bien meilleure. On n’a plus de tabous liés à l’enquêteur comme cela pouvait être le cas dans les enquêtes téléphoniques, notamment pour le vote FN. Il y a toujours des gens qui diront que la normalisation du FN depuis 2011 peut expliquer une meilleure déclaration, mais le passage à internet a eu un réel impact.

Pour un institut comme BVA, que représentent les sondages politiques ?
BVA Opinion doit représenter 7 à 8 % de l’activité de BVA et à l’intérieur de BVA Opinion, on a autour de 10 % de l’activité occupée par les études politiques. Le sondage politique est une vitrine d’expertise et de prestige pour un institut mais ce n’est pas le cœur de l’activité des instituts de sondages, qui est constituée par des enquêtes sur les services, le marketing, la téléphonie, les transports, etc. On n’est pas dans un modèle où le politique est un poumon économique pour les instituts de sondages.