Nota sul fallimento (?!) dei sondaggi elettorali USA, e conseguenze su quelli di casa nostra.

Non esistono sottinsiemi di popolazione insondabili dai giornalisti dell’elite, esistono metodologie statistiche più o meno accurate. Per avere le seconde, bisogna investirci.

Francesco Maione
5 min readNov 10, 2016

I sondaggi elettorali non se la passano particolarmente bene. Prima ancora dell’impredicibile (?!) vittoria di Trump, c’è stata la Brexit, le elezioni inglesi 2015, e anche, nel nostro piccolo, le ultime due tornate elettorali nazionali italiane (europee 2014 e politiche 2013).

Mappa elettorale USA, se tutti gli stati venissero vinti da chi è in vantaggio nello spoglio.

Dopo i risultati delle elezioni USA, la narrazione dei commentatori di casa nostra è più o meno unanimemente questa: “Trump rappresenta la reazione della classe media bianca contro l’establishment, contro gli intellettuali elitari, contro i giornalisti, contro i sondaggisti, tutti schierati per la Clinton. I sondaggi non avrebbero mai potuto pervedere la sua vittoria, perché sono fatti dalle elitès, che non si accorgono dei movimenti di opinione degli ultimi, degli esclusi, se non dopo che sono diventati maggioranza”. Anche il sorprendente commento a caldo di Beppe Grillo, in cui sottolinea la vicinanza tra Trump e il suo movimento, e afferma candidamente che il problema non è essere razzisti, sessisti, omofobi, populisti, tanto la gente non legge più i giornali che scrivono queste cose, è in linea con questo pensiero dominante. Basato su un’idea distorta di cosa siano i sondaggi, come vengano realizzati, e come possano esserne analizzati i dati.

Innanzi tutto, bisogna separare due aspetti. Da una parte, i risultati dei singoli sondaggi. Dall’altra, le analisi che aggregano i sondaggi, fornendo una probabilità di vittoria per l’uno o l’altro candidato.

Il singolo sondaggio: davvero non è più in grado di percepire la realtà?

Risposta breve: no. Innanzi tutto, a livello di voto nazionale, i sondaggi USA, in media, hanno sbagliato di circa 2 punti. In linea perfetta con gli errori mostrati storicamente. Dunque, non c’è alcun nuovo movimento popolare invisibile alle analisi demoscopiche delle elites. Hanno sbagliato di più i sondaggi nei singoli stati, soprattutto in quelli con una maggioranza di elettori bianchi non istruiti, che hanno consegnato la vittoria a Trump, come 4 anni fa avevano consegnato una vittoria più larga del previsto ad Obama. Ma, dalle prime impressioni a caldo, l’errore non è stato tanto nella composizione del campione, quanto nella modellizzazione di chi sarebbe andato a votare. Perché molti democratici, che si pensava avrebbero sostenuto la Clinton, sono rimasti a casa. Quindi il problema è stata la mancanza di voti che sarebbero dovuti arrivare a Hilary, e non un mare di voti inaspettati arrivati a Trump dalle insondaggiabili masse, come vuole la narrazione degli opinionisti italiani.
Altra questione spesso citata, ad esempio qui, l’idea che i sostenitori di Trump, soprattutto le donne, non abbiano rivelato nei sondaggi la loro preferenza per vergogna. E, secondo l’articolo linkato, i sondaggisti non hanno strategie per contrastare questo fenomeno, ritenuto responsabile della vittoria molto più risicata del previsto di Prodi nel 2006. In realtà, i sistemi esistono eccome. Sondaggi con domande poste da voci automatizzate, o realizzati via internet, garantiscono all’elettore una forma di anonimato che gli consente di rispondere sinceramente senza vergogna, come sottolineato da alcuni sondaggisti a partire dai dati delle elezioni USA. Sondaggi di ogni tipo (dal vivo, per telefono, al cellulare, via internet, automatizzati o non) davano la Clinton erroneamente vincente in alcuni stati chiave. Se il problema fosse solo il “silenzio demoscopico”, si sarebbe vista una correlazione tra risultato previsto e metodologia del sondaggio. Può aver avuto un effetto, ma non essere stato decisivo. Il vero problema è che realizzare sondaggi di qualità costa, anche molto. Fare la transizione definitiva ai sondaggi online, che si stanno rivelando sempre più accurati (come nelle elezioni inglesi 2015), è necessario, ma servono investimenti in ricerca per garantirne la qualità e l’impossibilità di essere manipolati. Ma nell’era in cui i media (soprattutto a casa nostra) hanno sempre meno soldi, ma sempre più pressioni per far uscire un sondaggio a settimana, non importa quanto accurato, basta avere qualcosa da commentare, anche se statisticamente è irrilevante, la tendenza è esattamente contraria. Stiamo vedendo sempre più quantità e meno qualità.

L’aggregazione dei sondaggi funziona?

Risposta breve: sì. Nate Silver, responsabile di www.fivethirtyeight.com, dava a Trump un 30% di probabilità di vittoria. Quasi 1/3. Non esattamente trascurabile. Non è così imprevisto che abbia vinto, dunque. Certo, molti altri analisti davano alla Clinton più del 90% di probabilità di vittoria. La differenza è che Nate Silver ha tenuto conto che gli errori dei sondaggi tra i vari stati possono essere correlati. Dunque ha corretto le previsioni per ogni stato con la tendenza proveniente dall’andamento dei sondaggi nazionali sul voto popolare. Risultato: nelle ultime due settimane Trump ha guadagnato, grazie allo scandalo delle email, portando così una correzione a tutti i sondaggi statali nella sua direzione.

Cosa ci insegna questo, sull’interpretazione dei sondaggi italiani?

Brutte notizie, purtroppo. Se la tendenza degli elettori nelle ultime settimane prima del voto si rivelasse così importante universalmente (potrebbe anche essere un modo per attutire il “silenzio demoscopico”, all’avvicinarsi del voto le persone sono probabilmente più portate a rivelare ai sondaggisti la propria reale intezione di voto), i sondaggi italiani, con il divieto di realizzarne nelle ultime due settimane, non avrebbero alcun potere predittivo. Attenzione: questo non significa che i sondaggi più vecchi siano inutili. L’errore degli analisti nelle elezioni inglesi 2015 è stato proprio di aver dato troppo poco peso alle preferenze elettorali storiche della popolazione, guardando solo i sondaggi della fase accesa della campagna elettorale. Significa però che la tendenza dell’ultimo minuto è fondamentale per poter avere previsioni accurate. Com’è accaduto molto probabilmente nelle ultime politiche, in cui lo spostamento di voti verso i 5 stelle potrebbe essere avvenuto proprio nelle ultime due settimane prima del voto.

Altro argomento importantissimo, dobbiamo abituarci che i modelli di previsione elettorale danno risultati probabilistici. Dato che le elezioni sono eventi unici e non ripetibili, questi risultati non sono testabili, nemmeno a posteriori. Un evento con la probabilità del 30% può tranquillamente accadere, bisogna aspettarselo.

A questo bisogna unire il fatto che da noi le percentuali di indecisi sono molto maggiori. Al momento, per il referendum costituzionale, sono intorno al 27%. In USA erano al 5–6%.

Mettendo tutto insieme [pochi sondaggi e di scarsa qualità, no sondaggi nelle ultime 2 settimane, tanti indecisi, modelli di affluenza al voto sicuramente sballati (perché è variata tantissimo negli utlimi anni) risultati dei singoli sondaggi molto ravvicinati (il no è probabilmente in vandaggio di 2–3 punti, la differenza tra PD e M5S è ancora inferiore), la grande frammentazione partitica], è davvero difficile, alle condizioni attuali, fare una previsione elettorale seria in Italia. Bisognerebbe investire nella ricerca in questo campo, studiando nuove metodologie di analisi più adatte alla nostra realtà (piccolo suggerimento per il Governo: rinnovare www.sondaggipoliticoelettorali.it, in modo da rendere accessibili i risultati dei sondaggi con procedure automatizzate). Contemporaneamente, bisognerebbe fare istruzione sull’argomento, e, in particolare, scoraggiare le opinioni giornalistiche basate su dati statisticamente irrilevanti. Ma l’attuale irrilevanza dei sondaggi nostrani non è certo colpa di insondabili gruppi che sfidano il sistema.

--

--

Francesco Maione

Ph.D. in Fisica teorica, venduto al lato oscuro del rischio di credito. Mi interesso di politica, scienza, economia, giochi, software open source.