Riflessioni personali sul ruolo dei bias nei processi decisionali e nei sistemi basati su intelligenza artificiale.

Confusion by Scot Greenwell — Owned By RAC_ART

Premessa

Ho deciso di scrivere questo articolo per mettere ordine tra le riflessioni e le deduzioni che ho maturato negli ultimi mesi relativamente al concetto di bias. Il bisogno di fare ordine è nato dalla confusione che si è generata in me nel momento in cui ho notato che il termine bias è diventato parte del linguaggio quotidiano assumendo, talvolta, accezioni per me ambigue.

Scrivendo questo articolo non nutro alcuna certezza o verità assoluta. Anzi, lo scrivo per appuntare quello che penso relativamente ai bias e lo faccio, come sempre, pubblicamente perché confido che possa trasformarsi in un’utile opportunità di confronto con chi ha la pazienza per leggere le mie riflessioni.

Prima di iniziare questa lettura, rilassati e ripeti con me:

Senza explainability l’artificial intelligence è inutile e pericolosa.

Introduzione

In questo articolo parlo di bias e, come sempre, preferisco cominciare dalla definizione di bias alla quale faccio riferimento nelle mie riflessioni.

I bias sono la manifestazione di distorsioni sistematiche del giudizio frutto di euristiche cognitive delle quali abbiamo perso il controllo, ovvero scorciatoie mentali che usiamo per semplificare il processo decisionale che sono state spinte sino ad un tale livello di banalizzazione della realtà da perdere il contatto con la stessa realtà dalla quale si generano impattando negativamente sul modello decisionale adottato da qualsiasi agente intelligente biologico o artificiale (Kahneman & Egan, 2011).

I bias possono influenzare ogni modello decisionale in modo da renderlo inefficace. Anche laddove si pensa di avere approntato un modello decisionale basato su euristiche prive di bias, gli studi di Tversky dimostrano che questi assumono un ruolo fondamentale nell’analisi della realtà producendo conseguenze che non sono necessariamente rilevabili o rilevabili nel breve periodo.

La consapevolezza del ruolo strutturale e strutturante assunto dai bias nei processi decisionali basati su euristiche li rende paradossalmente un “falso problema” dei processi stessi. Un modello euristico basato su bias ammissibili e funzionali allo scopo del modello non rende il modello stesso privo di bias. Un processo decisionale nel quale non ci sono distorsioni pericolose, macroscopiche della realtà mi induce a pensare che i bias presenti nel modello sono invisibili alla nostra analisi ma efficaci nel condizionare il processo decisionale. Una costellazione ben orchestrata di bias assume nel processo decisionale la stessa meccanica dei piccoli piombi con i quali si equilibrano le ruote delle nostre autovetture: ad una determinata soglia manifestano un potente condizionamento del sistema. L’esistenza di questo processo di condizionamento fu testimoniato Alexander Nix, CEO di Cambridge Analytica, nel suo intervento “From Mad Men to Math Men” esposto alla conferenza Online Marketing Rockstars tenutasi ad Amburgo nel 2017. La forza potenzialmente cataclismica di questo condizionamento è stata testata attraverso i condizionamenti psicometrici che Cambridge Analytica ha attuato durante le elezioni politiche in Trinidad e Tobago del 2010 a favore dello United National Congress (UNC) attraverso la campagna “Do So”.

L’analisi di un modello decisionale non deve quindi soffermarsi sulla semplice individuazione della presenza di bias ovvi quali i bias razziali o di genere ma deve essere in grado di comprendere quanto la modalità di somministrazione dei singoli risultati dell’analisi compiuta è in grado di generare micro-condizionamenti strategici simili a quelli prodotti da AlphaGo con la mossa “U-37”.

La consapevolezza che il i bias non sono il vero problema di un modello decisionale mi è data anche dal fatto che i bias non sono la causa di una anomalia ma solo e sempre una mera conseguenza di quest’ultima. Per essere chiari, un bias sta all’anomalia come l’influenza sta all’infezione: è solo un sintomo.

Affermare che un sistema decisionale è affetto da bias è per me una ovvietà essendo l’intero processo decisionale basato quasi sempre su euristiche. Allo stesso tempo, parlare di bias è anche una ammissione di inadeguatezza. L’inadeguatezza è determinata dal fatto che curare un bias è l’equivalente di un trattamento sintomatico causato dalla incapacità di comprendere l’origine dell’anomalia e/o di correggere l’anomalia stessa.

I sistemi di intelligenza artificiale non sono esenti da bias perché, anche tali sistemi operano attraverso processi di clusterizzazione ovvero processi di astrazione che si basano su bias ammissibili e funzionali all’analisi.

In questo articolo espongo con approccio “passo-passo” il percorso logico che mi ha portato alle mie conclusioni, sinteticamente esposte già in questa introduzione con l’obiettivo di condividere con chi mi legge la consapevolezza che mitigare il rischio generato da dinamiche cognitive che si manifestano sotto forma di bias non esclude la presenza di bias il cui impatto è altrettanto grave ma non immediatamente riscontrabile dalla nostra capacità di valutazione.

I modelli decisionali sono, nella gran parte dei casi, basati su approcci euristici.

Sono sempre stato affascinato dai meccanismi con i quali la mente analizza il mondo e le relazioni umane. Ho letteralmente divorato la serie TV “Brain Games” targata National Geographic ed il saggio scritto da Sergio Della Sala e Michaela Dewar dal titolo “Mai fidarsi della mente” che, attraverso esperimenti al limite della magia, ci mostrano quanto sconosciuto sia, tutt’oggi, il cervello umano e quanto i meccanismi che lo governano nel quotidiano sforzo di analisi ed adattamento siano legati ad errori, ad illusioni del pensiero, ad incoerenze dei processi mentali, ad imperfezioni della memoria che portano a sviluppare vere e proprie scorciatoie decisionali.

Le scorciatoie decisionali sono la strategia adottata dal nostro cervello per risparmiare energia. Esse si manifestano tutte le volte che ci troviamo di fronte a sfide, problemi e decisioni da prendere per i quali si preferisce adottare un approccio “euristico” ovvero un approccio che fa uso di generalizzazioni, regole empiriche e assunzioni.

L’approccio euristico è un modello decisionale che si basa su un insieme di strategie, tecniche e processi creativi che ci aiutano a trovare soluzioni in modo più rapido e semplice. Con questo approccio le decisioni vengono prese considerando un numero limitato di alternative, con una consapevolezza parziale delle conseguenze di ciascuna di queste. Questo processo è guidato da “euristiche”, che sono regole pratiche utilizzate per risolvere problemi o fare determinati tipi di calcolo e basate sulla consapevolezza che l’informazione disponibile non è mai perfetta e che le abilità umane sono limitate e fallibili. Come dice lo psichiatra Mauro Maldonato: “Diversamente dal calcolo formale, l’euristica è una soluzione immediata”.

Le strategie, le tecniche e i processi creativi che compongono l’approccio euristico sono distorsioni utili della realtà. Queste distorsioni semplificano l’analisi dei fatti e mirano a fornire una visione soggettiva basata sulla consapevolezza che siamo in grado di riconoscere solo un numero limitato di alternative e siamo consci soltanto di alcune delle conseguenze di ciascuna alternativa. Nella maggior parte dei casi, queste distorsioni ci permettono di interpretare e, laddove possibile, prevedere la realtà in modo rapido ed efficace.

I modelli decisionali basati su euristiche sono caratterizzati da processi di semplificazione della realtà ed astrazione.

I processi di semplificazione della realtà sono basati su schemi e su categorie con le quali si organizza la conoscenza che utilizziamo nei processi di percezione, memoria e pensiero.

Gli schemi e le categorie che utilizziamo per organizzare la nostra conoscenza descrivono persone, oggetti ed eventi attraverso i soli dettagli caratterizzanti, comuni o più frequenti escludendo tutto ciò che possa essere ricondotto ad una specifica manifestazione fenomenica.

Gli schemi di conoscenza sono basati su associazioni che sono immediatamente disponibili alla nostra consapevolezza e rappresentano ciò che è più comune o considerato tipico. Per capirci, quando parlo della bellezza dei cani nessuno pensa alla bellezza del Bracco Italiano o dello Spinone Italiano perché tutti pensano all’immagine generica e soggettiva del cane che ci si è costruiti negli anni.

Gli schemi di conoscenza sono fondamentali per una corretta classificazione del mondo che richiede necessariamente l’attuazione di un processo di astrazione con il quale si crea un insieme di elementi non identici seppur appartenenti alla stessa categoria fenomenica.

I processi di astrazione sono fondamentali per una semplificazione dei processi di comprensione ed adattamento. Possiamo dire che sono alla base dei meccanismi che governano sopravvivenza ed evoluzione.

Senza un processo di astrazione saremmo incapaci di prendere decisioni perché ogni fenomeno produrrebbe un elemento a sé stante non accomunabile con altri simili. Si svilupperebbe la “sindrome da dipendenza ambientale” (Lhermitte, 1986) che rende incapaci di inibire azioni stimolate da ogni singolo input. In una condizione simile non esisterebbero le conifere o la singola specie di cui sono composte (es: pino silvestre, larice, abete, peccio) ma solo il singolo albero differente da un altro per la caratteristica assunta da ogni singola foglia.

Malgrado l’importanza dei processi di astrazione è condivisa da tutti, va ricordato che nelle astrazioni le eccezioni o la diversità non vengono prese in considerazione. Per questo motivo quando si parla degli africani non si pensa alla popolazione africana di pelle bianca, seppur esistente.

Questa tendenza degli schemi alla generalizzazione ed alla esclusione delle eccezioni porta a un pregiudizio nel momento in cui non disponiamo di informazioni sufficienti su ciò di cui stiamo parlando.

I processi di semplificazione della realtà possono generare anomalie che si manifestano sotto forma di bias cognitivi.

I processi di semplificazione che troviamo alla base del modello euristico presentano un difetto importante: il limite al quale si spingono è costituito solo dal buon senso di chi li applica. Per questo motivo, in alcuni casi, il processo euristico si spinge oltre la sola semplificazione della realtà e genera vere e proprie banalizzazioni dalle quali nascono preconcetti che, pur potendo essere derivati dalla realtà, non conservano più alcun legame oggettivo con la stessa.

La banalizzazione della realtà induce a sviluppare preconcetti che si riverberano nei processi decisionali attraverso inevitabili errori di valutazione che possono essere più o meno gravi. Tali errori, a prescindere dalla loro natura, sono genericamente chiamati “bias cognitivi” o più semplicemente “bias”.

I bias cognitivi sono, errori sistematici del pensiero che, inducendoci a deviare dalla logica o dalla razionalità, influenzano il modo in cui percepiamo la realtà, prendiamo le decisioni ed il modo in cui formuliamo i nostri giudizi.

La differenza che passa tra bias ed euristiche è, quindi, rappresentata dal fatto che le euristiche sono scorciatoie comode e rapide strettamente legate alla realtà e che portano a veloci conclusioni. I bias cognitivi sono anch’essi scorciatoie ma si manifestano attraverso pregiudizi che hanno perso ogni legame con la realtà e che si acquisiscono, nella maggior parte dei casi, senza spirito critico o giudizio.

Non è facile capire in quale punto un processo di semplificazione si trasforma in una banalizzazione dalla quale nasce un bias cognitivo. Ritengo che sia impossibile fissare una sorta di soglia che consenta di comprendere di essere in presenza di un processo di semplificazione del quale si è perso il controllo tanto da poterlo dichiarare disfunzionale al processo decisionale. Per questo motivo, forse, ci si accorge dell’esistenza di un bias sempre, per così dire, a fatto compiuto quando il processo decisionale ha manifestato i propri effetti nell’ambiente e sulle persone.

I processi di astrazione sono comuni a tutti gli agenti intelligenti.

Un mondo di unicità assolute nel quale non è possibile creare gruppi attraverso processi di astrazione è un mondo nel quale è impossibile ogni forma di vita intelligente. Per quanto possa sembrare irragionevole, organizzare la conoscenza per schemi e da questi per astrazioni è comune a tutti gli agenti intelligenti o teleologici anche di natura aliena (non umana). Per il mio cane gli uccelli sono tali a prescindere che rientrino nelle specie per le quali è stato selezionato ed addestrato a cacciare. Si potrebbe obiettare che il mio cane rincorre tutto quello che si muove in preda al solo istinto predatorio. Tuttavia la sua ritrosia a predare oggetti a lui sconosciuti è comune a tutti gli altri cani. Rammento ancora il modo in cui si è comportato quando ha visto, per la prima volta nella sua vita, un palloncino rotolare sul pavimento perché mosso dal vento e di come si è comportato nei successivi incontri con questa fenomenologia ambientale.

Le astrazioni non mancano nemmeno nelle intelligenze vegetali che attuano schemi di clusterizzazione nei processi di apprendimento e adattamento. Una testimonianza di tale capacità ci è data da Stefano Mancuso attraverso le sue osservazioni in merito ai riscontri raccolti dal naturalista e botanico francese Lamarck (1744–1829) relativamente ai comportamenti che la mimosa pudica, così chiamata perché chiude le sue foglie non appena viene sfiorata, mette in atto nel presumibile tentativo di difesa dagli erbivori.

I processi di astrazione sono presenti anche nei sistemi di intelligenza artificiale

Un aspetto specifico è, a mio parere, assunto dai sistemi di Intelligenza Artificiale (IA) che, pur non essendo forme di vita, operano come agenti teleologici e lo fanno attuando processi di astrazione e classificazione non dissimili da quelli prodotti da altre specie viventi. Come rilevato da Nello Cristianini, tutte le volte che un sistema IA attua una classificazione lo fa con un proprio costrutto teorico basato su una propria forma di intelligenza.

Non è possibile sapere quali sono le caratteristiche degli schemi di conoscenza che una IA adotta per distinguere un cane da un gatto o per classificare il mondo. Semmai lo potessimo scoprire, scopriremmo che non ha nulla a che vedere con i nostri criteri basati su dati sensoriali umani. Non mi stupirei di trovare in una IA una classificazione simile a quella proposta da Jorge Luis Borges in cui il mondo animale si divide in:

1. animali appartenenti all’Imperatore;
2. animali imbalsamati;
3. animali ammaestrati;
4. maialini;
5. sirene;
6. animali favolosi;
7. cani randagi;
8. animali inclusi nella presente clas­sificazione;
9. animali che tremano come se fossero pazzi;
10. animali innumerevoli;
11. animali disegnati con un sottile pelo di cammello;
12. altri;
13. animali che hanno appena rotto un vaso;
14. animali che da lontano sembrano mosche.

La questione dei bias che si manifestano nei sistemi IA è molto più complessa se si considera il fatto che le correlazioni statistiche che sono utilizzare nei processi di astrazione sono spesso, se non sempre, definite su dati che, oltre ad essere naturalmente affetti da bias, potrebbero celare legami statistici a correlazione debole non evidenti all’uomo ed in grado di generare effetti negativi sul processo di analisi e decisione. Per capire l’importanza delle correlazioni deboli e della loro pericolosità, riporto una bella definizione prodotta dal team di Ammagamma che, a mio parere, sul tema fa scuola e divulgata David Bevilacqua: “le [correlazioni deboli sono] relazioni più flebili tra le variabili che influenzano un fenomeno [e sono] di difficile lettura e interpretazione. La nostra mente non è in grado di coglierle, a differenza delle correlazioni forti, ma dotandosi di un modello matematico è possibile individuarle [ed usarle a nostro vantaggio]”. La consapevolezza dell’importanza che le correlazioni deboli assumono nei processi di astrazione generati da una IA viene anche dagli studi condotti da James Pennebaker che dimostrano la fattibilità di una segmentazione psicometrica di un utente attraverso la sola struttura linguistica adottata nell’esposizione delle proprie opinioni. Grazie ai suoi studi ed alle correlazioni deboli, Facebook può clusterizzare gruppi di persone a partire dai soli like espressi sulle immagini e sui post pubblici degli utenti.

Riconoscere l’esistenza dei processi di astrazione in ogni agente intelligente consente di comprendere che i bias possono essere presenti in ogni processo euristico a prescindere dalla natura dell’agente che lo pone in essere. Inoltre, trovo la provocazione di Borges, un utile strumento a comprendere che i no­stri principî di classificazione e di ordinamento del mondo sono tutt’altro che ovvi e naturali essendo possibile ipotizzare infiniti altri modi di orga­nizzare gli oggetti della nostra esperienza come, per esempio, quello paradossale che ho riportato sopra.

Breve riepilogo

A questo punto del mio ragionamento è bene che faccia un breve riepilogo di quanto ho tentato di esporre fin qui.

1 I processi euristici si basano su semplificazioni della realtà che, anche se funzionali al raggiungimento del risultato, sono la matrice dalla quale nascono i bias.

2 I bias, essendo legati ai processi di semplificazione, non sono il frutto di un determinato livello di astrazione ma, piuttosto, il frutto di un limite determinato solo dal livello di inaffidabilità che il nostro buon senso trova ammissibile nei nostri processi cognitivi e decisionali. Nei termini esposti, il bias è presente in ogni processo euristico e tutte le volte che ci si discosta dal dato oggettivo.

3 I processi di semplificazione sono necessari per attuare i processi di astrazione che ci consentono di comprendere il mondo a prescindere da specifiche manifestazioni fenomeniche. Ho anche riscontrato questa capacità di astrazione in agenti dotati di intelligenza aliena alla nostra.

Prima conclusione: i processi euristici sono basati su bias

Il bias, inteso come forma deviata dei meccanismi di semplificazione ed astrazione, è presente in ogni processo euristico perché è attraverso proprio all’adozione di uno o più scorciatoie che si può eludere l’adozione di un approccio logico-scientifico che è sempre molto dispendioso in termini di risorse di calcolo e tempo di acquisizione e verifica dei dati.

La presenza di bias in tutti i processi euristici è dimostrata anche dall’esperimento fatto dalla psicologa Emily Pronin che, nel 2002, ha descritto il “bias blind spot” come la naturale inclinazione della logica umana di considerare noi stessi sempre più obiettivi di chiunque altro. Un’altra dimostrazione del legame bias-euristiche ci viene dallo psicologo Paolo Legrenzi e il neurologo Carlo Umiltà che, nel libro “Molti inconsci per un cervello”, scrivono:

“Dato l’enorme flusso di informazioni, noi tendiamo a selezionare quelle che già conosciamo, quelle con cui siamo d’accordo, quelle che possiamo assimilare meglio grazie alla presenza di schemi e categorie mentali che ci sono familiari e che sono già consolidate. Inoltre, noi siamo inclini a condividere queste informazioni con chi la pensa come noi e con chi sappiamo che potrà apprezzare perché la pensa come noi. Queste nuove forme di vita danno luogo a una sorta di inconscio collettivo che si traduce nella radicalizzazione delle opinioni della persone. I singoli sono confortati dalla condivisione di una corrente di opinioni che è semplice, chiara, e che richiede bassi sforzi cognitivi e attentivi”

Il ruolo dei bias nei processi cognitivi ha portato ad una attenta classificazione degli stessi che, in assenza di proposte tassonomiche o di modelli di riferimento, negli anni ha generato un elenco di oltre 150 voci ripartite in quattro macro-aree.

Immagine derivata da The Cognitive Bias Codex by John Manoogian

Con una lista tanto ampia di voci, trovo ovvio considerare i bias come parte inscindibile delle euristiche, malgrado in alcuni casi ne diventino l’elemento che mostra la fallacità di alcuni processi di semplificazione/astrazione.

L’idea che i processi euristici siano basati su bias più o meno efficaci non piace a nessuno perché testimonia che ogni scelta è sempre sbagliata o, se si preferisce, giusta sino a prova contraria. Questo scenario, tuttavia, non è deprecabile quanto sembra dal momento che è proprio grazie ai bias che è possibile accelerare i processi di analisi, migliorare il rilevamento dei fattori critici di scelta in situazioni mutevoli o incerte e giungere ad un modello decisionale più snello. Questo è dovuto al fatto che il bias è strettamente legato agli schemi ed alle categorie con le quali si organizza la conoscenza che è alla base dei processi di percezione, memoria e pensiero.

Seconda conclusione: i bias non sono un falso problema

Le euristiche si basano necessariamente su bias anche se, nella gran parte delle circostanze, tali bias non manifestano effetti dannosi sul contesto o sull’oggetto delle nostre decisioni. In una simile condizione, per quanto la cosa non piaccia, non serve più chiederci se una decisione è presa sulla scorta di un modello i cui meccanismi manifestano o meno dei bias. Piuttosto serve chiedersi quale sia la rilevanza assunta dai bias certamente presenti nel processo decisionale in essere. In sostanza, dal momento che le scelte sono sempre basate su errori di valutazione, concentriamoci sulla distinzione tra errori gravi ed errori poco irrilevanti i cui effetti sono, tuttavia, solo apparentemente a basso impatto.

Terza conclusione: i bias non sono una spiegazione

La visione del bias come problema che spiega l’anomalia palesata a valle di un processo decisionale è fuorviante perché trasforma i bias da effetto di una anomalia in causa dell’anomalia. I bias sono sempre il sintomo di un problema che affligge il modello decisionale e, per questo motivo, non esistono se non come manifestazione distorta di un processo cognitivo. Per essere più chiaro, non penso sia corretto dire che l’anomalia riscontrata in un processo decisionale sia riconducibile ad un bias o sia prodotta da un bias. Innanzi ad una anomalia si dovrebbe dire che il problema dalla quale si genera si manifesta sotto forma di uno o più bias.

L’interpretazione dei bias come manifestazione sintomatica di un problema cognitivo impone alcune riflessioni. La prima è rappresentata dal fatto che la correzione dell’anomalia non passa dalla correzione dei bias attraverso i quali si manifesta l’anomalia (sarebbe come abbassare la febbre invece di curare l’infezione). La seconda è rappresentata dal fatto che l’anomalia che riscontriamo attraverso uno o più bias non è detto che non ne abbia prodotto altri di eguale importanza ma non ancora individuati.

Quarta conclusione: i bias mostrano i limiti delle nostre capacità di presidio delle IA

Un bias inteso come effetto e non come causa impone l’adozione di un approccio completamente diverso da quello attualmente adottato per l’analisi dell’efficienza dei sistemi IA in cui si deve essere necessariamente in grado di individuare quale processo di astrazione ha generato l’anomalia che identifichiamo come bias. Per compiere una simile analisi delle cause, si deve conoscere nel dettaglio i parametri che concorrono alla generazione della decisione e, ancora di più, si deve conoscere quale combinazione di “segnali deboli” genera la specifica impronta statistica che ha generato l’anomalia. Ad oggi, non esiste alcun modo per essere certi del modello che ha generato la risposta.

La presenza dei bias non è, quindi, utile a spiegare qualcosa dal momento che i bias sono presenti in ogni processo euristico e sono presenti tanto nei processi di analisi i cui esiti sono conformi alle aspettative quanto in quelli che non producono i risultati attesi.

Dire che un sistema decisionale è affetto da bias significa sapere perché si è generato il bias, perché non lo si è evitato, perché correggendo l’anomalia non se ne generi uno differente in una rincorsa alla complessità tipica dei primi service pack della Microsoft degli anni ‘90.

Ma se il bias è invece una peculiarità del modello decisionale? Un modello decisionale è sempre focalizzato su un set contenuto di dati. Ciò significa che, anche se non ci fossero fenomeni di discriminazione estremi, ci troveremmo comunque in un contesto nel quale non è possibile escludere che non si sia in presenza di un bias degno della famosa mossa “U-37” di AlphaGo i cui effetti si mostrano come un veleno in un tempo ed in una modalità tale da rendere impossibile comprendere l’origine del male ed individuare una cura adeguata.

Senza un sistema decisionale ad attenzione selettiva, saremmo alla mercé degli stimoli ambientali, anche se irrilevanti o incoerenti con ciò che stiamo facendo. Potremmo pensare che sia possibile farci supportare da una IA nel processo di lettura dei dati ma, anche in questo caso, nessuno potrebbe escludere che l’agente adottato a nostro supporto non cada esso stesso vittima della complessità del mondo sviluppando l’equivalente tecnologico della “sindrome da dipendenza ambientale” (Lhermitte, 1986) che rende incapaci di inibire azioni stimolate da ogni singolo input.