“Flere piger elsker at game i fritiden”. “Børn er bange for at fejle i skolen”. “Kvinder frygter indbrud om natten”. Kan du få øje på fællesnævneren?

Journalister er (for) hurtige til at generalisere på baggrund af undersøgelser, viser ny forskning. Det kan føre til urigtige påstande.

Af Kresten Roland Johansen, adjunkt, DMJX

Bladrer du igennem en avis, kan du næsten være 100 procent sikker på at møde ordene ’Ny undersøgelse viser, at …’ eller en ’En rundspørge peger på …’. Det viser min egen nye undersøgelse af ti tilfældigt valgte dages indhold i landsdækkende danske dagblade.

På de ti dage møder læserne cirka 200 unikke artikler, som alle bruger en undersøgelse, rapport eller meningsmåling som belæg for påstande. Den helt centrale metode, der anvendes, er spørgeskemaundersøgelser. 120 gange præsenteres vi for en spørgeskemaundersøgelse. Og hvad kan vi så bruge dem til?

Journalisterne bruger dem til at generalisere. Nu generaliserer du selv! Tænker du måske? Ja, det gør jeg. Jeg har analyseret de 120 eksempler, hvor spørgeskemaundersøgelser indgår, og i 80 procent generaliserer journalisten. Omtrent 80 procent af spørgeskemaundersøgelserne, der danner grundlag for artiklerne i mit studie, kan siges at være repræsentative, så det er vel fint nok? Nej, for det er ikke de samme 80 procent — og dermed generaliserer journalisterne i en række tilfælde uden at have belæg for det.

Kan man stole på avisernes præsentationer af spørgeskemaundersøgelser? Artiklen her fra Berlingske 12. juni 2018 er én af dem, der indgår i Kresten Roland Johansens undersøgelse.

Nu kan man jo tænke, at en lidt løs og hurtig generalisering næppe er et problem, hvis nu historien ellers er god. Men det er det, for historien kan være forkert, og så ender journalisterne med at skabe fortællinger om virkeligheden, som forekommer at være veldokumenterede, men risikerer at være helt forkerte.

At generalisere eller ikke generalisere
I min analyse finder jeg referencer til 18 ikke-repræsentative undersøgelser i artiklerne. Journalisterne generaliserer på baggrund af 12 af dem. Lad mig give et par konkrete eksempler:

”Ofre for voldtægt er blevet mere tilfredse med politiet” (Ritzau, 15–08–2018). Belægget er en undersøgelse med blot 66 besvarelser. Det nævnes i undersøgelsen, at der kan være problemer med repræsentativiteten. ”78 procent af landets gigtpatienter med kroniske smerter er aldrig af egen læge eller en reumatolog blevet tilbudt alternativer til stærk smertemedicin” (Politiken, 17–03–2019). Belægget er en ny måling, Gigtforeningen har foretaget blandt 915 ikke-repræsentativt udvalgte gigtpatienter. ”Danske elever føler sig i en sådan grad pressede af karakterer” (Berlingske, 12–06–2018). Belægget er eleverne i 2. g på to danske gymnasier.

Skal vi stole på dem? Svaret er hverken selvindlysende eller entydigt. Men journalisterne kan hjælpe dig og mig. Og måske sig selv, hvis de gør en lille indsats.

Man får let det indtryk, at journalisterne generaliserer per refleks. Men det modsatte forekommer også. I nogle tilfælde undlader journalisten at generalisere, selv om der faktisk er grundlag for at gøre det. Der bruges forsigtige formuleringer som ”67 procent af de adspurgte, der stemte Leave i 2016, er »parat til at ofre noget fremtidig økonomisk vækst for at gennemføre brexit ordentligt«.” og ”Det mener et flertal af de adspurgte danskere i en ny måling”. Det er måske udtryk for et udvidet forsigtighedsprincip? Eller tvivl hos journalisten? Det fritager også journalisten for at forholde sig til eventuel statistisk usikkerhed.

Manglende transparens
Når journalister så hyppigt generaliserer, kunne man måske tro, at de samtidig tager højde for eller kommunikerer spørgeskemaundersøgelsernes statistiske usikkerhed. Men det sker ikke. Statistisk usikkerhed omtales i 4 procent af artiklerne. Repræsentativitet eller mangel på samme omtales i 9 procent af artiklerne. Den eneste metodeinformation, der jævnlig formidles, er antal svarpersoner (38 procent). Men det er jo — hvis det står alene — et særdeles tyndt grundlag at vurdere noget som helst ud fra.

Samtidig linkes der sjældent til undersøgelsen eller rapporten bag. I cirka 80 procent af mediernes analyserede online artikler linkes der ikke. Det betyder, at formidlingen ikke er særlig transparent. Konsekvensen er, at det er nærmest umuligt for læseren at forholde sig til troværdigheden af påstandene. Det kræver i hvert fald et større detektivarbejde.

Cirka halvdelen af de kortlagte undersøgelser har en offentlig opdragsgiver. Det kan være en styrelse, et ministerium, et institut, et råd, et center eller en kommission. VIVE og Sundhedsstyrelsen er nogle af de hyppigste gæster i min aktuelle kortlægning. Ofte er der tale om meget solide undersøgelser, som medierne refererer med god grund. Det er bare pokkers svært for læseren selv at forholde sig til, hvis det holdes hemmeligt.

Inkonsistent formidling
Men er mediernes formidling ikke blevet bedre, end den var engang? Vi har vel alle i nyere tid læst nyhedsartikler om meningsmålinger, hvor alle relevante metodeinformationer loyalt nævnes, og hvor journalisten tager højde for den statistiske usikkerhed? Jo, det er muligt, at det faktisk er blevet lidt bedre. Og eksemplerne findes.

Image by Peggy und Marco Lachmann-Anke from Pixabay

I Berlingskes artikel ”Flere vil stemme Radikale end ved valget” (12. juni 2018) kan man fx læse, at

”Forskellen på vælgertilslutningen til de to blokke er imidlertid så lille, at den ikke er statistisk signifikant. Ugens Barometertjek kan derfor ikke give et bud på, om regeringen eller oppositionen ville løbe med sejren ved et folketingsvalg.”

Det er klart formidlet. Men forudsætter, at læseren ved, hvad ”statistisk signifikans” betyder. Udfordringen er imidlertid, at medierne tilsyneladende har en ret inkonsistent formidlingspraksis. Hvis mediet selv har betalt for undersøgelsen, får læseren ofte alle relevante metodeinformationer og korrekt tagen-højde-for usikkerheder. Her står journalisten på mål for målingen eller undersøgelsen. Når andre derimod betaler gildet, får vi som læsere ofte intet at vide, som kan guide os ift. at vurdere undersøgelsens troværdighed og styrke. Hvorfor denne inkonsistens? Hvorfor skal vi som læsere stole blindt på journalistens forklaringer og konklusioner?

Er det overhovedet et problem?
Hvis medierne konsekvent brugte stærke og repræsentative undersøgelser som belæg, ville problemet måske være til at overse. Men sådan er virkeligheden ikke. Fik jeg nævnt ”Derfor græder vi mere på fly?” Eller ”Faktisk er kun få af os curlingforældre?” Kan du på stående fod vurdere, om de bygger på troværdige og repræsentative undersøgelser? Dertil kommer, at knap 15 procent af de analyserede undersøgelser er betalt af private virksomheder. 25 procent er betalt af foreninger og interesseorganisationer. Skal vi stole på dem? Svaret er hverken selvindlysende eller entydigt. Men journalisterne kan hjælpe dig og mig. Og måske sig selv, hvis de gør en lille indsats. Det kræver, at de insisterer på ikke at fortælle gode historier, hvis de måske er forkerte. Og at journalisten faktisk er i stand til at finde ud af, om fundamentet for historien holder.

Denne artikel har tidligere været bragt i Politiken søndag den 23. februar 2020.