I rischi invisibili dell’intelligenza artificiale

Perché abbiamo urgente bisogno di misurare gli impatti sociali dell’IA

Monica Cainarca
Sep 30, 2016 · 6 min read

Di Kate Crawford e Meredith Whittaker
Traduzione di Monica Cainarca

Quali cambiamenti porteranno i sistemi di intelligenza artificiale al nostro modo di vivere? È una domanda difficile: da una parte, stanno producendo interessanti progressi nello svolgimento di compiti complessi, con notevoli miglioramenti in settori come il consumo energetico, l’elaborazione di file audio e la diagnosi della leucemia, oltre a straordinarie potenzialità di fare molto di più in futuro. D’altra parte, hanno un ruolo sempre maggiore nel prendere decisioni problematiche con impatti significativi a livello sociale, culturale ed economico nelle nostre vite quotidiane.

I sistemi di intelligenza artificiale e di supporto alle decisioni sono incorporati in una grande varietà di istituzioni sociali e influenzano scelte di ogni tipo, dal rilascio di detenuti dal carcere alle notizie principali del giorno. Un esempio recente dell’impatto dei sistemi automatizzati sulla selezione dei contenuti è il caso della censura da parte di Facebook della famosa foto premio Pulitzer che ritrae una bambina in fuga dalle bombe al napalm durante la guerra in Vietnam. La bambina è nuda; all’algoritmo che filtra le immagini può sembrare una semplice violazione delle regole sulla nudità e le foto di minori. Ma ad occhi umani, la fotografia di Nick Ut “The Terror of War” ha ben altro significato: è un’immagine simbolo dell’orrore indiscriminato della guerra e si è guadagnata un posto d’onore nella storia della fotografia e della politica internazionale. La rimozione della foto ha suscitato proteste a livello internazionale, costringendo Facebook a fare marcia indietro e ripristinare l’immagine. Anche il primo ministro norvegese Erna Stolberg è intervenuta sul caso, dichiarando: “Quello che fa Facebook nel rimuovere immagini di questo tipo, per quanto buone possano essere le sue intenzioni, è censurare la nostra storia comune”.

È facile dimenticare un fatto cruciale: questi casi di alto profilo sono in realtà i casi facili. Come ha osservato Tarleton Gillespie sul Wall Street Journal, Facebook passa in rassegna centinaia di immagini mille volte al giorno ed è raro che si trovi di fronte a un premio Pulitzer di evidente importanza storica. A volte intervengono anche i team di moderatori umani nella valutazione dei contenuti da filtrare, altre volte il compito è affidato interamente agli algoritmi. Nel caso della foto censurata, vi è anche una notevole ambiguità sui confini tra processi automatizzati e intervento umano: anche questo è parte del problema. E Facebook è solo uno degli attori coinvolti in un complesso ecosistema di valutazioni supportate da algoritmi, senza un vero e proprio monitoraggio esterno per verificare come sono state prese le decisioni o quali potrebbero esserne gli effetti.

Il caso della famosa foto simbolo della guerra in Vietnam è quindi solo la punta di un iceberg: un raro esempio visibile sotto il quale si cela una massa molto più voluminosa di decisioni automatizzate e semi-automatizzate. Il fatto preoccupante è che molti di questi sistemi di “intelligenza artificiale debole” sono coinvolti in scelte che non arrivano nemmeno ad attirare quel tipo di attenzione, perché sono integrati nei back-end dei sistemi informatici e intervengono in calcoli su molteplici set di dati, senza un’interfaccia rivolta all’utente finale. Le loro operazioni restano in gran parte sconosciute e invisibili, con un impatto che si può rilevare solo con enormi sforzi.

A volte le tecniche di intelligenza artificiale garantiscono risultati accurati, altre volte si sbagliano. E in quei casi, è raro che gli errori emergano e diventino visibili al pubblico – come nel caso della foto censurata della bambina vietnamita, o del “concorso di bellezza” giudicato da algoritmi e accusato di razzismo per la selezione delle vincitrici, esclusivamente bianche. Potremmo considerare questo ultimo esempio come un semplice problema di dati insufficienti: sarebbe bastato allenare l’algoritmo a riconoscere una selezione meno parziale e più diversificata di volti e infatti, dopo che 600.000 persone hanno inviato i propri selfie al sistema, ora ha sicuramente a disposizione più dati per poterlo fare. Un concorso di bellezza con una giuria di robot potrà sembrare una banale iniziativa di cattivo gusto, o un ottimo escamotage per invogliare il pubblico a inviare le proprie foto e ampliare il set di dati disponibili, ma è un caso indicativo di una serie di problemi molto più seri. I sistemi di intelligenza artificiale e di supporto alle decisioni stanno entrando sempre più nelle nostre vite quotidiane: determinano chi finirà nelle “heat list” predittive della polizia, chi sarà assunto o promosso, quali studenti saranno ammessi alle università; o addirittura cercano di prevedere fin dalla nascita chi commetterà un crimine entro i 18 anni di età. La posta in gioco, quindi, è molto alta.

I pochi studi finora condotti sull’utilizzo dell’intelligenza artificiale e degli algoritmi di supporto alle decisioni in importanti ambiti sociali hanno prodotto risultati preoccupanti. Un recente studio della RAND Corporation ha dimostrato che la “heat list” di previsione del crimine usata dalla polizia di Chicago – una lista che identifica soggetti ad alto rischio di coinvolgimento in atti di violenza armata – si è rivelata inefficace nel prevedere chi avrebbe commesso crimini violenti; l’unico effetto è stato un aumento dei soprusi nei confronti dei soggetti sulla lista. Un quadro altrettanto problematico è emerso da un’inchiesta di ProPublica sul software usato dalla giustizia americana per la valutazione del rischio di recidiva, basato su algoritmi che producono risultati distorti da pregiudizi a sfavore degli imputati di colore. Per garantire l’imparzialità e il rispetto dei diritti e delle libertà di tutti, servirebbero metodi di convalida, verifica e valutazione di questi sistemi. Altrimenti si rischiano classificazioni errate, dati parziali e modelli difettosi che aggravano le ingiustizie invece di porvi rimedio.

Come scriveva Turing nel 1947, se una macchina deve essere infallibile, non potrà mai essere intelligente. Ciò che desta preoccupazione è la diffusione sempre più rapida di questi sistemi automatizzati fallibili all’interno del complesso sistema nervoso della società. È una questione al centro della nostra attenzione, tanto che di recente abbiamo organizzato AI Now, un convegno alla Casa Bianca dedicato agli impatti sociali ed economici dell’intelligenza artificiale nei prossimi dieci anni. Gli incontri di AI Now hanno incluso un seminario con esperti di vari settori – esponenti del mondo accademico, della società civile, dell’industria e del governo – per discutere le sfide e le domande più urgenti poste dall’intelligenza artificiale in quattro aree tematiche: disuguaglianza sociale, etica, occupazione e sanità.

Le idee e le diverse prospettive discusse durante il convegno AI Now sono state estremamente istruttive, ma hanno anche messo in luce una verità scomoda: non esistono metodi concordati per valutare gli effetti umani e gli impatti longitudinali dell’intelligenza artificiale nelle sue applicazioni all’interno dei vari sistemi sociali. Questo divario di conoscenze si allarga sempre più man mano che si diffonde l’utilizzo dell’intelligenza artificiale, aggravando il rischio di conseguenze impreviste.

La questione principale non è se l’intelligenza artificiale sia peggio degli attuali processi umani che usiamo per fare previsioni e classificare i dati. Anzi, ci sono molte speranze di poter utilizzare l’intelligenza artificiale per giungere a valutazioni più oggettive e imparziali di quelle umane, riducendo le discriminazioni e garantendo risultati migliori. La preoccupazione principale è che i sistemi di IA sono sempre più integrati in istituzioni sociali fondamentali nonostante la mancanza di rigorosi studi e conferme sul loro grado di accuratezza e sui loro effetti sociali ed economici.

È necessario sviluppare un solido settore di ricerca che possa misurare e valutare gli effetti sociali ed economici degli attuali sistemi di intelligenza artificiale, al fine di potenziarne gli effetti positivi e ridurne i rischi. Misurando gli impatti di queste tecnologie, possiamo rafforzare la progettazione e lo sviluppo dell’intelligenza artificiale, aiutare soggetti pubblici e privati a garantire l’affidabilità e la trasparenza dei loro sistemi, e ridurre il rischio di errori. Sviluppando una comprensione empirica di come funziona effettivamente l’intelligenza artificiale sul campo, potremo stabilire modelli comprovati per un utilizzo responsabile ed etico e garantire così una sana crescita di questo settore tecnologico.

Se gli impatti sociali dell’intelligenza artificiale sono difficili da vedere, è di fondamentale importanza individuare approcci rigorosi per renderli più visibili e trasparenti. Abbiamo bisogno di nuovi strumenti che ci permettano di sapere come e quando le decisioni automatizzate stanno influenzando materialmente le nostre vite — e se necessario, contestarle.

Medium Italia

La pubblicazione di Medium in italiano.

Translated from original by Monica Cainarca.

Monica Cainarca

Written by

Translator, editor, dreamer • formerly translator and editor for Medium Italia

Medium Italia

La pubblicazione di Medium in italiano.

Welcome to a place where words matter. On Medium, smart voices and original ideas take center stage - with no ads in sight. Watch
Follow all the topics you care about, and we’ll deliver the best stories for you to your homepage and inbox. Explore
Get unlimited access to the best stories on Medium — and support writers while you’re at it. Just $5/month. Upgrade