Hur kunde Ada ha så rätt?

Rätt statsminister — check! Rätt antal mandat för blocken — check! Närmast partiernas valresultat — check! Botten Ada prickade valresultatet osannolikt bra. Hur var det möjligt?

Rösterna i riksdagsvalet är räknade. Vi har ett resultat: Ulf Kristerssons lag vann med 176 mandat mot 173 för Magdalena Anderssons. Det innebär att Botten Ada och SvD:s slutprognos inte bara satte rätt vinnare, utan också exakt rätt mandatfördelning.

Vi var, tillsammans med Infostats sista mätning, de enda opinionspejlarna som höll Ulf Kristersson som knapp favorit på valdagen. I 11 av 13 opinionsundersökningar och sammanvägda mätningar som presenterades veckan före valet var Magdalena Anderssons lag favorittippat. I TV4 och Sifos valdagsundersökning var försprånget så stort som 2,6 procentenheter.

Men det var alltså Ulf Kristersson som vann. SD, M, KD och L fick 49,5 procent av rösterna. S, V, C och MP 48,8 procent.

Botten Ada (tillsammans med SvD:s Vem vinner valet?) och Infostat kom med andra ord extremt nära.

Mer träffsäkra mätningar

Hur träffsäkra var opinionsmätningarna inför årets val? Ett gängse, men väldigt enkelt sätt, att utvärdera opinionsmätningar är att räkna ut ett absolut medelfel för de sista undersökningarna. Vi tar fram ett snitt för hur mycket skattningarna för varje parti skilde sig från valresultatet (i absoluta tal).

SVT:s vallokalsundersökning gav till exempel Miljöpartiet 5,8 procent. Valresultatet blev 5,1 procent. Undersökningen missar då med 0,7 procentenheter.

Med det här sättet att räkna kom Botten Ada också närmast valresultatet, följt av Demoskop och SVT/Valu.

En uppenbar invändning mot det här sättet att räkna är att det inte tar hänsyn till partiernas storlek. Att missa Miljöpartiet med 0,7 procentenhet är rimligen ett större fel än att missa Socialdemokraterna med 0,7 procentenhet.

En mer rättvis bedömning är att räkna på avstånden i procent. Valuns MP-fel på 0,7 procentenheter motsvarar en överskattning på 14 procent (0,7 / 5,1 = 14 %).

Räknar vi på motsvarande sätt för alla partier ser vi att den typiska skattningen skilde sig 8–10 procent från valresultatet.

Är det här mycket eller lite? Jämfört med valet 2018 var medelfelet förhållandevis litet. Åtminstone om vi jämför de institut som var med båda åren. Alla företag (med undantag för Skop) kom närmare valresultatet 2022 än 2018 i sina sista skattningar.

Vad det här beror på låter vi vara osagt. Det kan ha att göra med att opinionsmätningarna blivit mer precisa, väljarrörelserna den sista vecka i var mindre i år eller skillnaderna mellan personer som svarade på opinionsundersökningarna och dom som inte svarade var mindre.

M utanför felmarginalen

Samtidigt som mätningarna på en aggregerad nivå kom närmare valresultatet i år än 2018 kan det finnas viss orsak till självrannsakan hos opinionsinstituten kring mätningen av enskilda partier.

Följande bild visar vilka partier som låg längst från valresultatet i slutmätningarna.

Vänsterpartiet, Miljöpartiet, Liberalerna, Centerpartiet och Kristdemokraterna låg högre i opinionsmätningarna än sina valresultat. Socialdemokraterna och Moderaterna låg lägre i opinionsmätningarna.

Det är — tyvärr — få institut som öppet redovisar felmarginaler i sina mätningar. Men Novus och Sifo (på uppdrag av TV4 och SvD) har föredömligt presenterat felmarginaler.

Lite grovt kan man säga att om en undersökning är korrekt genomförd borde det sanna värdet (det vill säga valresultatet) med 95 procent sannolikhet ligga inom felmarginalen*. Lyckades man med det? Ja och nej.

• Novus låg utanför felmarginalen på 2 av 8 partier: M och V (med intervjuer gjorde tisdag till torsdag i valveckan).
• Sifo/SvD missade 4 av 8 partier: L, M, MP och V (intervjuer tisdag till torsdag).
• Sifo/TV4 missade 2 av 8: M och MP (intervjuer på valdagen).

Det här kan bero på att väljarna strömmade till Moderaterna de sista dagarna, men mer sannolikt är att det också beror på mer systematiska fel då det är här ett mönster vi sett i flera val de senaste tjugo åren.

I tabellen nedan har vi räknat hur många standardfel institutens sista mätningar låg från valresultatet. En felmarginal på 95 procent motsvarar ungefär 2 standardfel (i en normalfördelad population).

Den här tabellen bör kanske framför allt stämma till eftertanke hos Sifo. Skattningen av Moderaterna i TV4:s vallokalsundersökningen låg 5,6 standardfel från valresultatet. Om undersökningen är korrekt genomförd är sannolikheten att landa 5,6 standardfel från valresultatet väldigt liten. Detta talar starkt för att det fanns skevheter i skattningen av Moderaterna som Sifo presenterade på valnatten.

Avgörande att vikta rätt

Men även om opinionsmätningar ofta får mycket kritik och vi här pekar ut enskilda skattningar som landat snett, så skulle man faktiskt kunna vända på perspektivet och fråga sig hur opinionsmätningarna kan vara så bra (det har till exempel Andrew Gelman gjort i en amerikansk kontext).

Det är allt färre som svarar när opinionsinstituten gör sina intervjuer. I SCB:s partisympatiundersökning (PSU), som har branschens kanske högsta trovärdighet, ligger bortfallet på omkring 50 procent. Med detta i åtanke får undersökningarna anses imponerande träffsäkra.

Det är uppenbart att viktningen är väldigt central för opinionsmätningarnas kvalitet. SVT/Valu publicerar både råa, oviktade siffror, och de viktade. Jämför man de två ser man att korrigeringen är avgörande för att få till en bra skattning:

Källa: SVT/Valu

Tydligast är det om vi tittar på Sverigedemokraterna. Bara 13,9 procent av de intervjuade svarade att de röstat på SD, men Valu lyckades ändå göra en skattning som var nästan mitt i prick (20,5 procent).

Exemplet visar att mätningarna kan bli väldigt träffsäkra när rätt faktorer inkluderas i viktningen.

Samma snedvridning som 2018

Ni som följt Botten Ada och våra tidigare bloggposter om skevheter i opinionsmätningar, bör känna igen er i årets över- och underskattningar. Faktum är att de följer ett väldigt bekant mönster.

Inför valet 2018 var det i stort sett samma partier som över- och underskattades i undersökningarna:

Det här är en stor del av förklaringen till att Botten Adas prognos landade så nära valresultatet. Vi var de enda som korrigerade för historiska över- och underskattningar hos hela opinionsindustrin, vilket gjorde att våra prognoser för partier som M och V blev något mer träffsäkra.

Mycket tur — men inte helt oförtjänt

Vi tycker så klart att det är väldigt roligt Botten Adas prognos kom så nära valresultatet. Men vi är också de första att erkänna att vi hade en stor portion tur.

Egentligen är hela syftet med Botten Ada och vår bayesianska approach till sammanvägning av opinionsmätningar att förmedla osäkerhet, snarare än precision. Vi visste inte att Ulf Kristerssons block skulle vinna, men vi bedömde det som något mer sannolikt än det motsatta.

Vi såg det som troligt att SD skulle bli större än M, men avskrev inte möjligheten att det skulle gå tvärtom. Det är lätt att vara efterklok, men ännu på valdagsmorgonen fanns det en genuin osäkerhet om hur opinionsmätningarna skulle tolkas.

Så ja, vi hade tur. Samtidigt var det i någon mån en tur som vi förtjänade (som man brukar säga i idrottssammanhang).

Valresultatet visade att det finns en poäng med att väga in historiska skevheter när man tolkar opinionsmätningarna. M och S underskattades precis som de gjort många gånger tidigare. MP, L och MP överskattades.

Med andra ord borde valresultatet inte ha varit en så stor överraskning.

Nästa steg: Utvärdera prediktionerna

Den här bloggposten har fokuserat på att utvärdera vår slutprognos i förhållande till andra sammanvägda mätningar och opinionsundersökningar. En fråga som återstår att djupdyka i är hur bra våra prediktioner varit under resans gång. Hur rätt eller fel ute var vi månaderna före valet?

Vi har redan nu identifierat ett antal saker vi kunde ha gjort bättre. Vi kommer återkomma med en fördjupade utvärdering om detta.

*) Här gör vi, likt SVT och Novus, en bayesiansk tolkning av felmarginalen.