Zo maak je van politieke peilingen verantwoord nieuws

Hans Bresseleers
Mar 5 · 7 min read

In Nederland zijn in maart weer verkiezingen. Als altijd zullen media gretig verslag doen van wie er in de peilingen op winst ligt. Politicoloog Joris Boonen zet graag uiteen hoe redacties de betrouwbaarheid van de cijfers kunnen controleren.

TEKST Joris Boonen & Mark Pluymaekers | TEKENING Martyn F. Overweel

In aanloop naar de Tweede Kamerverkiezingen in Nederland op 17 maart zullen de vele politieke peilingen opnieuw in het middelpunt van de belangstelling staan. Initiatieven als de Peilingwijzer, het NOS-publieksonderzoek of de nieuwste peiling van Maurice de Hond proberen ons een beeld te geven van het verwachte stemgedrag van kiezers. Maar sinds de verkiezingsoverwinning van Donald Trump en de keuze van de Britten om te vertrekken uit de Europese Unie, beide in 2016 en beide niet voorspeld in de peilingen, liggen politieke peilingen onder het vergrootglas. Kunnen we ze nog wel vertrouwen als de voorspellingen er zo naast zaten?

Kritiek op peilingen is niet nieuw, maar vaak te makkelijk. Het probleem zit lang niet altijd in de peiling zelf, maar in de conclusies die we eraan verbinden. En daar kunnen we iets aan doen. Het is in de eerste plaats belangrijk om een peiling in je berichtgeving ook echt als een peiling te behandelen, met alle onzekerheid die erbij hoort. Maar hoe doe je dat goed? Hoe breng je op basis van een nieuwe opiniepeiling een aantrekkelijk, maar genuanceerd verhaal over die cijfers? Deze tips voor het verslaan van peilingen kunnen je houvast geven.

Omarm de onzekerheid: een schatting blijft een schatting

Een peiling is een schatting. En bij een schatting hoort onzekerheid. Laat die onzekerheid expliciet zien, in woord en beeld. Vermijd expliciete voorspellingen zoals: ‘Als er vandaag verkiezingen zouden zijn, zou de VVD er twee zetels op vooruit gaan.’ Je leest het vaak, maar deze aanpak wekt ten onrechte de indruk dat het om een vaststaand feit gaat. Alsof de peiling precies de uitslag kan voorspellen. Wil je transparant zijn over de onzekerheid, kies dan liever voor iets als ‘De VVD zou volgens deze schatting ongeveer twee zetels kunnen winnen in de Tweede Kamer.’

Je kunt die onzekerheid ook in je beeld verduidelijken. Bij elke schatting hoort een foutenmarge die je boven en onder het getal zou moeten plaatsen. Hoogleraar Tom Louwerse (Universiteit Leiden) laat die in zijn Peilingwijzer consequent zien. Als de VVD in de laatste peilingen 27 procent haalt, met een onzekerheidsmarge van +/- 1 procent, dan zal het resultaat naar schatting tussen de 26 en de 28 procent liggen. Met een foutenbalkje in een staafdiagram kun je dat eenvoudig visueel weergeven. Die foutenmarge helpt je trouwens ook om kleine verschuivingen tussen twee peilingen niet meteen als noemenswaardige verschillen te interpreteren.

Maak de cijfers niet exacter dan ze zijn

Cijfers suggereren altijd een bepaalde mate van exactheid, maar kommagetallen maken die suggestie nog sterker. In De Morgen en HLN lazen we op 11 december bijvoorbeeld: ‘N-VA, dat bij de stembusgang nog 25,5% haalde, belandt vandaag met 19,9% zeer nipt onder de symbolische grens van 20%.’ Voor de symboliek van dit specifieke getal leek het relevant, maar die mate van exactheid kon deze opiniepeiling bij 1000 Vlamingen helemaal niet bieden. Juist omdat het om schattingen met foutenmarges gaat, zijn cijfers na de komma doorgaans niet relevant. Laat ze in je artikel liever achterwege. De weerman zegt ook niet dat het morgen 14,35 graden Celsius wordt. Niet alleen omdat hij het niet zo precies weet, maar ook om ervoor te zorgen dat je hem morgen nog gelooft als het maar 13 graden is geworden.

Lees de vragen in de peiling even kritisch als de uitkomsten

Kijk bij een nieuwe peiling niet alleen kritisch naar de uitkomsten, maar ook naar de manier waarop de vragen zijn gesteld. Als journalist weet je hoe een vraag iemand in een bepaalde richting kan duwen. In enquêtes gebeurt vaak hetzelfde, maar dan subtieler en niet altijd bewust. Bovendien kan de sturing niet alleen zitten in de manier waarop de vraag wordt gesteld, maar ook in de antwoordopties die worden gegeven.

In een recent publieksonderzoek vroeg de NOS bijvoorbeeld: ‘Heeft de corona-epidemie invloed op je stem bij de verkiezingen?’ met als mogelijke antwoorden ‘Ja, ik laat dat zwaar meewegen’, ‘Ja, ik laat dat een beetje meewegen’, ‘Nee, dat speelt geen rol’ of ‘Dat weet ik nog niet’. Met twee Ja’s en één Nee stuurt de NOS de respondenten hiermee onbewust in de richting van een positief antwoord op die vraag en zal de rol van corona in de verkiezingsuitslag vermoedelijk overschat worden.

Kijk dus goed of de vragen neutraal gesteld zijn en of de antwoordopties gebalanceerd zijn. Het helpt vaak om even na te denken hoe je zelf op de vraag zou reageren om de kwaliteit ervan in te schatten.

Ga na over wie het onderzoek écht gaat: de vrijwillige respondent is niet de gemiddelde Nederlander

Elke opiniepeiling vraagt naar de mening van een subgroep (of steekproef) van de hele populatie. Het is daarom van groot belang dat de steekproef een goede afspiegeling is van de hele populatie. De kans op zo’n representatieve steekproef is het grootst wanneer je willekeurig namen trekt uit de volledige populatie, en als die geselecteerde kandidaten dan ook allemaal willen meedoen. Dat gebeurt in opiniepeilingen haast nooit, dus doen onderzoekers hun best om zo dicht mogelijk in de buurt te komen. Onderzoeksbureaus doen dat met panels. Dit zijn groepen beschikbare vrijwilligers die ze op elk moment kunnen aanschrijven. Die respondenten worden hier meestal ook voor betaald of beloond. Maar soms gebeurt het op vrijwillige basis, zoals bij het recente NOS-publieksonderzoek.

De NOS heeft uiteraard een heel groot bereik in Nederland, waardoor ze meer dan 60.000 respondenten konden overtuigen om deel te nemen aan hun enquête. En hoe indrukwekkend dat ook mag klinken, meer respondenten staat niet (altijd) gelijk aan een betere afspiegeling van de bevolking. De gemotiveerde NOS-klanten die vrijwillig een enquête invullen zijn niet ‘de Nederlanders’. Zelfs niet als ze met zestigduizend zijn.

Staar je niet blind op het gemiddelde

Uitkomsten van nieuwe peilingen worden vaak samengevat in een gemiddelde. Het is een dankbare, intuïtieve basismaat die het eenvoudig maakt om groepen of metingen met elkaar te vergelijken. Maar net omdat het zo eenvoudig is, ontbreekt vaak de nuance.

Nederlanders hebben volgens de nieuwste Vertrouwensmonitor (2021) bijvoorbeeld een gemiddeld vertrouwen van 3,3 op 5 in hun banken. Dat is ‘iets hoger’ dan vorige jaren. Wat ‘iets hoger’ betekent, weten we niet. Misschien zijn de resultaten van vorig jaar en dit jaar gewoon twee schattingen binnen eenzelfde foutenmarge. En wat die 3,3 op 5 inhoudelijk betekent, weten we eigenlijk ook niet.

Het is daarnaast belangrijk om na te gaan waar de cijfers zich rondom dat gemiddelde bevinden. Is het gemiddelde 3,3 omdat de hele groep consumenten de bank een matige score geeft? Of is het 3,3 omdat er zowel een grote groep heel tevreden als een grote groep heel ontevreden klanten zijn? En waar vinden de verschuivingen plaats? Zijn de tevreden klanten het afgelopen jaar meer tevreden geworden, of zijn de ontevreden klanten minder ontevreden geworden?

Een gemiddelde wekt bovendien de indruk dat we als groep een collectieve mening delen. Een bijhorende titel als ‘Nederlander geeft kabinet 6 op 10’ versterkt dat idee nog meer. En een verschuiving weg van dat gemiddelde geeft het idee dat we als groep in een bepaalde richting bewegen. Alsof we als maatschappij met z’n allen een ruk naar links of rechts maken. Zo eenvoudig is het niet. Als je schrijft over een verschuiving of een verandering in het gemiddelde, bevraag dan de onderzoeker die de data aanleverde bijvoorbeeld ook eens naar de onderliggende patronen. Waar zitten de echte verschuivingen in de hele groep? Hoe sterk zijn de antwoorden verspreid rond dat gemiddelde? Onderzoek het en geef het mee in je artikel om meer nuance aan te brengen in je verhaal.

Wees zo transparant als mogelijk over de herkomst van de data

De Nederlandse kwaliteitsmedia dragen transparantie hoog in het vaandel. Dat zie je ook in de manier waarop ze schrijven over opiniepeilingen. Meestal vind je een link naar het volledige onderzoeksrapport of een korte technische beschrijving van de data in een apart kader. Een gemotiveerde lezer kan dus perfect het volledige onderzoek inkijken, maar je weet ook dat slechts een kleine minderheid van je lezerspubliek dat zal doen.

We raden je aan om die inhoud niet weg te stoppen in een kadertje of een technisch rapport. Neem je lezers mee in het verhaal van de dataset en de mogelijke tekortkomingen ervan. Vertel hen in je eigen woorden hoe de data verzameld werden. Ook zij hebben het recht om te weten of het gaat om tachtig mensen die op straat werden aangesproken of duizend willekeurig geselecteerde Nederlanders die een brief in de bus kregen. Het helpt hen om die cijfers in een context te plaatsen en er kritische vragen over te stellen. Het maakt je stuk alleen maar beter als je zelf ook open bent over de sterktes en zwaktes van de data. Het is niet je taak als journalist om het onderzoek of de bevindingen scherper, beter of spannender te maken dan ze zijn. Het is je taak om ze op een zo duidelijk mogelijke manier in een context te plaatsen.

Meer weten?

De blog van professor Jelke Bethlehem is een aanrader voor iedereen die schrijft over peilingen. Hij fileert regelmatig de nieuwste enquêtes. Zijn meest recente stuk vormde ook de inspiratie voor een van onze tips. Daarnaast zijn de boeken, socialemediaberichten en opiniestukken van Ionica Smeets (De Volkskrant) en Sanne Blauw (De Correspondent) echte aanraders voor liefhebbers van het genre.

Voor politieke peilingen in Nederland is de website van Tom Louwerse (Universiteit Leiden) een bron van inspiratie. Je vindt er een uitstekende beschrijving van de laatste cijfers van Ipsos/Eenvandaag, I&O Research en Kantar, een heel goede FAQ en een uitgebreide methodenpagina.

Bio

De tips uit dit artikel zijn geïnspireerd op het boek ‘Kwantitatief onderzoek voor journalisten: Verantwoord nieuws maken van cijfers’ (Coutinho, 2020) van Joris Boonen en Mark Pluymaekers.

Joris Boonen is politicoloog. Hij doet onderzoek naar de ontwikkeling van politieke voorkeuren en interculturele competenties bij jongeren op basis van surveyonderzoek. Hij is op dit moment als docent-onderzoeker verbonden aan Zuyd Hogeschool in Maastricht, waar hij lesgeeft in onderzoeksmethoden en media-analyse.

Mark Pluymaekers is communicatiewetenschapper en psycholinguïst. Sinds 2014 is hij lector aan Zuyd Hogeschool in Maastricht. Hij doet onderzoek naar de ontwikkeling van interculturele competenties en de inzet van kunstmatige intelligentie in bedrijfscommunicatie.

Campus DPG Media

Mediamakers van morgen