Il riconoscimento facciale è l’ultimo “gadget” tecnologico associato alla videosorveglianza e ora sta sperimentando gli ambienti scolastici.
Mentre l’Unione europea si prepara per una regolamentazione complessiva delle tecnologie di riconoscimento facciale; mentre San Francisco, Oakland, Somerville il Massachusetts si schierano a favore del divieto di utilizzo delle tecnologie di riconoscimento facciale e il caso ClearwievAI fa scuola, la Lockport High School a New York (il cui logo include la seguente definizione “Pride in our Past…Faith in our Future” — orgogliosi del nostro passato…fiduciosi nel nostro futuro) dichiara l’attivazione del sistema di riconoscimento facciale per la sicurezza dei suoi otto istituti scolastici e circa 4500 studenti.
Parliamo di un sistema di sicurezza, finanziato per 1,4 milioni di dollari dei 4,2 milioni, assegnati tramite lo Smart Schools Bond Act di New York, che utilizzerà le telecamere CCTV presenti e si baserà sulla suite software Aegis creata da SN Technologies, con sede in Canada.
“Siamo in grado di assumere il ruolo di guardia di sicurezza con una precisione molto più elevata a un costo molto inferiore”, ha dichiarato a TechCrunch il co-fondatore e Chief Product Officer di Aegis, Ben Ziomek.
Curioso come, a valle della fornitura tecnologica al plesso scolastico di Lockport, si sia parimenti instaurato anche un contenzioso circa la titolarità del software di riconoscimento facciale coinvolto che vede contrapporsi BrainChip Holdings Ltd. E SN Technologies.
Lockport non è sola: un numero crescente di altre scuole nello Stato di New York pare stia mostrando lo stesso interesse ad acquistare ed installare sistemi di riconoscimento facciale utilizzando sempre i fondi del programma Smart Schools dello Stato di New York: Smart Schools è un programma approvato nel 2014 che ha lo scopo di aiutare i distretti scolastici ad aggiornare le tecnologie e le infrastrutture dell’istruzione in modo da migliorare l’apprendimento e le opportunità per gli studenti.
Tra queste, il distretto scolastico Depew Union,1.800 studenti, situato in un sobborgo esterno di Buffalo, è in attesa di approvazione per spendere i 188.000 dollari dei fondi Smart Schools per l’acquisto e l’implementazione di Aegis. E anche il Magnolia School District in Arkansas ha annunciato l’intenzione di attivare un sistema di riconoscimento facciale.
Nei campi estivi, i ragazzi americani vengono già continuamente identificati e valutati dai genitori tramite app come Bunk1.
Anche alcune scuole australiane usano la tecnologia di riconoscimento facciale.
E in altri paesi: la Cina, ovviamente, dove è già in atto l’impressionante Social Credit System; la Francia — dove “Nizza è una di quelle città in cui i leader politici hanno costruito la propria carriera incarnando la sicurezza, sviluppando la polizia cittadina e la videosorveglianza”, come ha affermato Laurent Mucchielli, sociologo e direttore della ricerca presso il Centro nazionale francese di ricerca scientifica (CNRS) — sta percorrendo a grandi passi la via del riconoscimento facciale nelle scuole. Il Liceo Les Eucalyptus di Nizza, malgrado il parere della CNIL, sembra ancora intenzionato a testare il riconoscimento facciale ed è della stessa idea anche l’Istituto Ampère di Marsiglia: l’ingresso a scuola avverrebbe attraverso il riconoscimento biometrico previo consenso degli studenti, e la tecnologia verrebbe dal colosso statunitense Cisco.
La Svezia, è noto, ha tentato di introdurre il riconoscimento facciale a scuola ma è stata interrotta dall’Autorità della protezione dei dati personali che a riscontrato gravi carenze di legittimità e sicurezza. La scuola di Skellefteå sosteneva di poter legittimamente elaborare i dati biometrici avendo il consenso degli studenti. Di contrario avviso l’European Data Protection Board (EDPB) per il quale tale consenso “non può considerarsi base giuridica valida dato il chiaro squilibrio tra l’interessato e il responsabile del trattamento”.
In Italia, a Pordenone, presso il Liceo scientifico “Grigoletti” sembrerebbe in funzione da tempo un meccanismo di riconoscimento facciale degli studenti, realizzato dall’azienda Spaggiari di Parma: “Saremo i primi a fare questo tipo di verifiche, distribuendo 1.500 badge “intelligenti” ai nostri liceali. Le due torrette rilevatrici hanno un raggio d’azione a 20 metri. Saranno posizionate agli ingressi. Verrà inserita nella banca dati remota la foto di ogni studente dotato di badge. Non si dovrà nemmeno strisciare il tesserino. Avremo più sicurezza e servirà meno tempo per registrare in automatico presenze e assenze”. Così riferiva Walter Manzon, dirigente dell’istituto superiore guidato da Ornella Varin come riportato dal Messaggero Veneto.
Come funziona il sistema di riconsocimento facciale Aegis a Lockport?
In breve la tecnologia trasforma le telecamere di sicurezza esistenti in monitor “intelligenti” antintrusione e di rilevamento delle armi, consentendo risposte in tempo reale.
Il sistema di riconoscimento facciale, quindi, sfruttando le 417 telecamere già disposte nei dieci edifici scolastici e i server esistenti (il sistema non richiede alcun investimento iniziale in hardware o operazioni aggiuntive), si coordina con un database di immagini di persone segnalate, predefinito dall’Istituto, chiamato Hot List. In caso di corrispondenza, il software invia un avviso al personale distrettuale autorizzato comunicando il rilevamento della presenza di una persona segnalata o di armi.
“Aegis è un sistema di allerta precoce che informa il personale delle minacce, incluse pistole o individui che sono stati identificati come non consentiti nei nostri edifici”, ha dichiarato una FAQ distribuita ai genitori della scuola e ottenuta da BuzzFeed News.
Tecnicamente il riconoscimento del volto o degli oggetti avviene servendosi di codici numerici chiamati “faceprints” che identificano un determinato numero di punti chiave o “nodali” su un volto umano o su un’immagine catturandoli a sua volta da un’immagine o da un video.
Tali punti chiave o nodali, nel riconsocimento facciale, vengono quindi utilizzati per misurare le variabili del volto di una persona, come la lunghezza o la larghezza del naso, la profondità degli occhi e la forma degli zigomi. I dati risultanti vengono memorizzati come una impronta facciale e l’impronta facciale così ottenuta viene utilizzata come base per il confronto con i dati acquisiti da un’immagine presa in tempo reale.
L’intervento umano è infine coinvolto nella ratifica delle corrispondenze risultanti: in pratica uno dei soggetti autorizzati può confermare o rifiutare la determinanza algoritmica del software.
Se l’associazione viene confermata, un altro avviso viene inviato a specifici amministratori di distretto che decidono quale azione intraprendere.
Stando alla policy dell’Istituto scolastico (disponibile al link indicato) “le telecamere di sicurezza sono collocate solo in aree pubbliche o comuni, come ingressi di edifici, vano scale, corridoi, mense, parcheggi, auditorium, palestre o campi da gioco e non in aree private come spogliatoi, bagni o altre aree simili in cui il Distretto riconosce che le persone hanno una ragionevole aspettativa di privacy o aule”.
L’accesso ai sistemi hardware pare sia presidiato da specifiche misure tecniche tra cui la crittografia dei dati ed anche organizzative: solo particolari figure appositamente incaricate avrebbero accesso ai dati del sistema e alle collocazioni fisiche dei dispositivi hardware. Nessuno dispone dell’autorità di aggiungere o rimuovere le immagini dal database senza una specifica autorizzazione del Sovrintendente delle scuole. I dati, si legge, saranno conservati per almeno 60 giorni salvo particolari deroghe esplicitamente indicate nella policy.
Un sistema, quindi, altamente invasivo poiché non limitato all’ingresso dell’istituto, ma, classi escluse, attivo in tutto l’edificio ed in grado di “riconoscere i volti degli individui a cui è proibito l’accesso alle scuole di Lockport, i molestatori sessuali, gli studenti sospesi, i membri dello staff e chiunque sia ritenuto pericoloso, così da allertare le autorità se scoperti all’interno delle strutture scolastiche. Il sistema è anche in grado di riconoscere le armi.”
In Cina sono andati oltre: “Aegis” si è esteso fino in classe dove contribuisce addirittura ad analizzare l’attenzione degli studenti durante le lezioni.
Riporta il Telegraph: “Ogni movimento degli studenti del Liceo Numero 11 di Hangzhou nella Cina orientale è osservato da tre videocamere posizionate sopra la lavagna”. Il “sistema di gestione intelligente del comportamento in classe”, o “occhio intelligente”, prosegue l’articolo, “è stato sperimentato prima in una classe, e poi in tutto l’istituto. Il software mira a identificare le emozioni espresse dai volti dei ragazzi, darle in pasto a un computer e poi fargli giudicare se sono concentrati sulla lezione in corso oppure se le loro menti vagano altrove.”
La diffusione della cultura della sorveglianza si spinge, dunque, fino agli ambienti dell’istruzione
Entro il 2021 saranno in funzione, in tutto il mondo, un miliardo di telecamere di sorveglianza. In crescita di quasi il 30 percento rispetto ai 770 milioni di oggi, secondo una previsione IHS Markit riportata dal Wall Street Journal.
Immagine tratta dal report Comparitech
L’incremento della sorveglianza in tempo reale è senza dubbio guidato dalle preoccupazioni per la sicurezza pubblica come anche dagli sviluppi legati ai progetti di città intelligenti, ma anche dalle innovazioni tecnologiche a cominciare da quelle legate al riconoscimento facciale: una tecnologia potente e pervasiva che sta suscitando notevole entusiasmo e aspettative.
Tuttavia, questa rapida permeazione dell’IA nella società non è ancora oggi accompagnata da un’indagine approfondita delle questioni sociopolitiche ad essa correlata e che rischiano di danneggiare gli individui piuttosto che avvantaggiarli.
Il settore dell’istruzione è uno degli ambienti pubblici in cui questa tecnologia sta iniziando a essere adottata ed implementata.
Ciò è indubbiamente favorito dalla crescente normalizzazione della sorveglianza in nome della protezione e della sicurezza dei giovani: non stupisce che proprio negli Stati Uniti, gli episodi di sparatorie nelle scuole abbiano spinto le autorità scolastiche a spendere annualmente diversi miliardi di dollari in prodotti e servizi di sicurezza nel campus. Oltre ad Aegis, il sistema di riconoscimento facciale SAFR per le scuole K-12 negli Stati Uniti e in Canada ne è un chiaro esempio.
E dall’ esigenza di sicurezza e monitoraggio delle presenze, attraverso un processo di automazione “a cascata”, alle applicazioni in contesti di autenticazione, “apprendimento virtuale” e rilevamento delle emozioni o “indicatore del coinvolgimento”, il passo è veramente breve.
In Cina, una scuola superiore di Hangzhou, scansiona ogni 30 secondi i volti degli studenti, registra i presenti, legge le loro azioni e pretende di comprenderne gli stati d’animo.
Diverse pubblicazioni tra cui quelle The Washington Post e Slate menzionano le scuole Lockport in in associazione con termini come “teatro della sicurezza” e “zone di sorveglianza”. Anche due giornali locali — il Lockport Union-Sun & Journal e The Buffalo News — hanno pubblicato editoriali piuttosto critici.
Mentre i membri del consiglio educativo di Lockport, si ostinano a ribadire che il progetto rappresenta solo un’estensione dei continui sforzi per rendere le scuole più sicure.
“Abbiamo lavorato molto per rendere sicuri gli ingressi e utilizzare i badge”, ha dichiarato il membro del consiglio Edward Sandell. Sempre il Washington Post, riporta che nelle 221 sparatorie evvenute nelle scuole dal 1999, la maggior parte degli autori erano studenti iscritti.
Le reazioni ostili al progetto di riconscimento facciale a Lockport
Nel suo articolo pubblicato sul NYT “Facial Recognition Moves Into a New Front: Schools” Davey Alba, una reporter che si occupa di tecnologia scrive:
“Jim Shultz ha fatto di tutto per impedire alla tecnologia di riconoscimento facciale di entrare nelle scuole pubbliche di Lockport, una piccola città a 20 miglia a est delle Cascate del Niagara. Ha pubblicato sul problema in un gruppo di Facebook chiamato Lockportians. Ha scritto un Op-Ed nel New York Times . Ha presentato una petizione al sovrintendente del distretto, dove sua figlia è al liceo.
Ma poche settimane fa, ha perso. Il distretto scolastico della città di Lockport ha attivato la tecnologia per monitorare chi è nella proprietà nelle sue otto scuole, diventando il primo distretto scolastico pubblico noto a New York ad adottare il riconoscimento facciale e uno dei primi nella nazione.”
“Il distretto — ha affermato Shultz — ha trasformato i nostri bambini in topi da laboratorio in un esperimento ad alta tecnologia nell’invasione della privacy”.
Jim Shultz, genitore di una studentessa del distretto, oltre che fondatore e direttore esecutivo del Democracy Center e la New York Civil Liberties Union, sono tra i più attivi promotori della consapevolezza circa la crescente evidenza di pregiudizi razziali nei sistemi di riconoscimento facciale e dei conseguenti rischi in termini di sicurezza e rispetto dei diritti fondamentali.
Stefanie Coyle, vicedirettore dell’Education Policy Center per la New York Civil Liberties Union, ha inviato una lettera al New York State Education Department’s chiedendo spiegazioni in merito all’avvio del progetto scolastico denunciando a chiare lettere come “reminding people of their greatest fears is a disappointing tactic, meant to distract from the fact that this product is discriminatory, unethical and not secure.”
Così Stefanie Coyle:
“È preoccupante il fatto che il distretto scolastico di Lockport insista nel proseguire con l’implementazione di un’intrusiva tecnologia di riconoscimento facciale che spesso fa errori nell’identificare persone di colore, donne e giovani. L’indicazione del distretto che intende utilizzare questa tecnologia su studenti sospesi rivela che gli importa poco della privacy e delle libertà civili dei suoi studenti. Gli studenti di colore, che hanno maggiori probabilità di ricevere una sospensione, sopporteranno il peso di questa tecnologia e potrebbero finire per essere sottoposti a un esame ancora più approfondito. Il legislatore sarebbe saggio a approvare la legge sulla moratoria nella prossima sessione per garantire che più distretti in tutto lo stato non seguano le orme di Lockport.”
E dunque, in molti si chiedono, tutto ciò contribuirà ad aumentare la sicurezza degli Istituti Scolastici?
Robert LiPuma, direttore della tecnologia del distretto scolastico di Lockport City School, ne è convinto e anzi non ha mancato di ricordareche se la tecnologia fosse stata in atto alla Marjory Stoneman Douglas High School di Parkland, in Florida, l’attacco mortale del 2018 non sarebbe mai potuto accadere.
Di fatto, la prospettiva del riconoscimento facciale nelle scuole segna per ora una alea di approvazione sociale ampia rispetto a quella delle contestazioni (più blande se paragonate con quelle riconducibili ad altre aree della società). E ciò contribuisce a rendere il settore dell’istruzione un “contesto relativamente favorevole” per l’introduzione delle tecnologie di riconoscimento facciale in chiave di consolidamento della cultura di sorveglianza e monitoraggio scolastico a fini di sicurezza e pedagogici.
Il disegno di legge americano della rappresentante in Assemblea Monica Wallace
Le speranze degli oppositori sono ad oggi riposte nel disegno di legge nel frattempo presentato da Monica Wallace, membro eletto nel 2016, che se approvato, potrebbe costringerebbe Lockport e gli altri Istituti scolastici nelle stesse condizioni ad interrompere l’uso del riconoscimento facciale per almeno un anno.
La proposta, che ha superato in modo schiacciante il voto in Assemblea, non è stata ancora votata al Senato.
“Il riconoscimento facciale è una tecnologia nuova e non testata, soprattutto nelle scuole”, ha affermato Wallace. “Ci sono domande reali sulla sua affidabilità e sulla capacità di una scuola di proteggere i dati biometrici sensibili degli studenti. Prima di andare avanti con l’implementazione, credo sia prudente che il Dipartimento della Pubblica Istruzione studi la questione e proponga regolamenti. Questo disegno di legge ci chiede semplicemente di dare un’occhiata più da vicino a questa tecnologia prima di andare avanti.”
Negli Stati Uniti, i dati biometrici di studenti di qualsiasi sono disciplinati specificatamente nel Family Educational Rights and Privacy Act (FERPA), tuttavia qualora il sistema di sorveglianza fosse controllato direttamente dalle Forze dell’Ordine e non dalla scuola, FERPA non si applicherebbe.
Gli impatti del riconoscimento facciale: quali sono i rischi di questa tecnologia?
1) Intanto i rischi legati alle implicazioni dell’uso delle tecnologie di riconoscimento facciale sulla tutela dei diritti fondamentali, tra cui il diritto fondamentale alla protezione dei propri dati personali.
A differenza di qualsiasi altro dato personale, i dati biometrici coinvolti nelle applicazioni di riconoscimento facciale ci appartengono “immutabilmente”. Va da sé che qualsiasi uso o abuso degli stessi non sarà mai innocuo, producendo effetti giuridici di varia natura e comportando allo stesso tempo rischi sostanziali.
È evidente, pertanto, che la domandala sicurezza dei dati biometrici debba essere considerata essenziale ed una priorità urgente nella concezione di qualsiasi progetto di questa natura.
Non è una novità che l’Unione Europea si stia preparando, all’interno di un più vasto programma di governance del digitale, per una regolamentazione complessiva delle tecnologie di riconoscimento facciale. Lo farà partendo dalla corretta interpretazione ed integrazione dei quadri regolatori in essere, GDPR in primis. Si dovrebbe arrivare a breve alla pubblicazione di un Libro Bianco.
E anche il Congresso americano sta tenendo audizioni sul divieto e sulla regolamentazione della tecnologia.
Per quanto riguarda l’utilizzazione dei dati biometrici nell’ambito del GDPR, è noto che essi sono ricompresi nell’art. 9, comma 4, del Regolamento, il quale prevede che per i trattamenti relativi ai dati biometrici e genetici sia sempre necessario il consenso, salvo che la legge nazionale, per motivi di rilevante interesse pubblico, sanitari o di ricerca scientifica, storica, archivistica o statistica, non disponga altrimenti.
Ma il consenso è una base di legittimità delicata: può essere revocato in qualsiasi momento ed è appropriato solo in circostanze limitate.
Corrispondenza one to one, one to many, non cambia il fatto che, a differenza di altri dati soggetti a trattamento biometrico, i dati di riconoscimento del volto sono potenzialmente disponibili ovunque e “senza contatto” o conoscenza.
La trasparenza, certo, dovrebbe essere la pietra angolare che governa l’uso di tali tecnologie; ma non sarà, tuttavia, la panacea di un problema che è estremamente complesso. Se una da parte la trasparenza serve a raggiungere la corretta definizione delle responsabilità legate alle singole applicazioni di AI, d’altra il funzionamento specifico delle tecnologie sfida la possibilità di credere che le spiegazioni semplici siano perseguibili o solo divulgabili (anche per ragioni di segretezza industriale).
Non ultimo, il campo dell’inferenza automatizzata rimane ancora oggi un vero e proprio terreno di elezione di autoproduzione di dati privo però di adeguata regolamentazione.
2) Bias in, bias out.
La fallacia degli algoritmi, il “machine bias”, alla base dei più noti sitemi di riconoscimento facciale è un’area critica strettamente connessa alla necessaria analisi critica rivolta ai sistemi di apprendimento automatico.
Studi importanti negli ultimi cinque anni, tra cui quelli National Institute of Standards and Technology, il laboratorio federale noto come NIST che sviluppa standard per le nuove tecnologie, hanno dimostrato e confermato che la maggior parte dei sistemi commerciali di riconoscimento facciale presenti, ancora oggi, parzialità, identificando erroneamente i volti afroamericani e asiatici da 10 a 100 volte più dei volti caucasici. E altri recenti studi hanno riscontrato un tasso più elevato di corrispondenze errate tra i soggetti in giovane età.
a) Margine di errore in base all’età
Fonte Immagine: Ongoing Face Recognition Vendor Test (FRVT) Part 2: Identification di Patrick Grother e Mei Ngan Kayee Hanaoka
b) Margine di errore in base al colore della pelle
Fonte Immagine: Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification di Joy Buolamwini e Timnit Gebru
Dunque il pregiudizio algoritimico persiste. E l’identità errata è più che un inconveniente; può portare a gravi conseguenze.
E’ esemplare in tal senso Lo studio Gender Shades di joy Buolamwini e Timnit Gebru: ovvero come i sistemi di IA commerciali delle principali società tecnologiche “discriminano” in modo significativo le donne di genere e gli individui dalla pelle scura, è estremamente interessante e chiaro nella sua accuratezza espositiva.
La ricercatrice Joy Buolamwini ha deciso di avviare l’indagine sistematica alla base dello studio menzionato a seguito del risultato di un iniziale esperimento svolto direttamente sulla sua foto quale relatore TED: ha sottoposto la sua immagine all’analisi della tecnologia di riconoscimento facciale promossa da aziende leader e alcune di queste non hanno rilevato il suo viso. Altre l’hanno etichettata come maschio.
Tanto è bastato per convicere Lei ed il suo team ad estendere il campo di indagine dei test: 1270 immagini sono state scelte per creare un punto di riferimento per il test delle prestazioni della classificazione di genere. I soggetti sono stati selezionati da 3 paesi africani e 3 paesi europei. Sono stati quindi raggruppati per genere, tipo di pelle e intersezione di genere e tipo di pelle. Il genere è stato poi suddiviso in categorie femminili e maschili poiché i sistemi di riconoscimento facciale in osservazione forniscono etichette binarie per la classificazione di genere. Le tre società — IBM, Microsoft e Face ++ di Megvii, sono state scelte per questa valutazione.
I risultati:
Tutte le tre aziende hanno riportato prestazioni migliori sui maschi rispetto alle femmine con una differenza dell’8,1% — 20,6% nei tassi di errore.
Immagine tratta da http://gendershades.org/overview.html
E inoltre i risultati migliori si ottengono sempre sui soggetti più chiari piuttosto che sui soggetti con un colore della pelle più scuro. Il range di errore varia dall’11,8% al 19,2%.
Per la categoria femminale i margini di errore si ampliano.
“Da una prospettiva ottica, le facce nere riflettono la luce a lunghezze d’onda molto diverse rispetto alle facce bianche e cercare di scrivere un algoritmo, sospetto fortemente, sarà, probabilmente, una sfida fondamentale.” Così l’esperto di fama internazionale Toby Walsh, professore di Intelligenza artificiale di Scientia all’Università del Nuovo Galles del Sud e vincitore del prestigioso premio per la ricerca Humboldt a Fact Check.
Nello studio di Boulamwini, IBM e Microsoft ottengono le migliori prestazioni sui maschi più chiari. La cinese Face ++ funziona meglio sui maschi più scuri.
IBM ha inoltre rilevato il più grande divario in termini di precisione, con una differenza del 34,4% nel tasso di errore tra maschi più chiari e femmine più scure. Per Microsoft l’analisi degli errori rivela che il 93,6% dei visi a rischio falso positivo coinvolgeva i soggetti più scuri. Face++ riporatava un maggior tasso di errore sui soggetti femminili.
I risultati della ricerca sono stati inviati a tutte le aziende il 22 dicembre 2017 e pare che abbiano sin da subito spinto Microsoft e IBM a migliorare i propri sistemi.
I miglioramenti che ne derivati sono emersi in un successivo studio condotto sempre da Joy Buolamwini con Inioluwa Deborah Raji che ha incluso tra le rilevazioni anche il sistema di Amazon, Rekognition e Kairos. Per Amazon le analisi si sono rivelate controverse. Le risultanze dei test effettuati ne hanno dimostrato l’attendibilità quando è stato in grado di determinare tutte le corrispondenze riferite ai volti di uomini bianchi, ma ne hanno reso anche evidente la fallacia quando le percentuali di errore aumentavano in caso di visi femminili bianchi (7,1%) e, soprattutto, di donne con la pelle più scura: “afroamericane e ispaniche venivano individuate come uomini in un caso su tre”.
La risposta di Amazon è stata pittosto eloquente: ha definito “affermazioni erronee” quelle di Buolamwini e ha affermato che lo studio ha confuso l’analisi facciale con il riconoscimento facciale, misurando erroneamente il primo con tecniche per la valutazione del secondo.
“La risposta alle ansie per le nuove tecnologie non è quella di eseguire” test “ incompatibili con il modo in cui il servizio è progettato per essere utilizzato e di amplificare le conclusioni false e fuorvianti del test attraverso i media”, così Matt Wood, direttore generale dell’intelligenza artificiale per La divisione di cloud computing di Amazon, ha scritto in un post sul blog di gennaio.
Buolamwini, per tutta risposta, ha invitato Amazona firmare il Safe Face Pledge, un progetto che incoraggia le aziende a impegnarsi nello sviluppo etico e nell’uso della tecnologia dell’analisi facciale.
Per la ricercatrice infatti il fulcro della questione non risiede nelle distinzioni tecniche che, anzi Lei stessa reputa marginali ma nella necessità di “regolamentarne la concreta applicazione” per evitare le distorsioni derivanti dalla sorveglianza di massa.
Il vero problema coinvolge piuttosto la governance di tali tecnologie pervasive.
“Perché non sarà necessario arrivare fino al punto in cui un individuo è già stato classificato (attraverso il riconoscimento facciale), per poter “violare le libertà civili”; sarà sufficiente averne valutato un attributo come il genere o la classificazione etnica (tramite analisi algoritmica facciale) . Se la tecnologia scambia una persona per un’altra, è possibile che “un innocente venga indicato come criminale sottoposto a controlli ingiustificati. E questo non è più uno scenario ipotetico.” come spiegano nelle conclusioni dello studio le ricercatrici.
L’ultimo lavoro di Joy Buolamwini, l film documentario diretto da Shalini Kantayy, “Coded Bias” è da vedere. È stato presentato in anteprima al Sundance Film Festival alla fine di gennaio e intreccia il viaggio di Buolamwini nella creazione della Algorithmic Justice League: un’organizzazione in difesa dei diritti umani legati all’abuso di sistemi dei riconoscimento facciale distribuiti in tutto il mondo — dalle strade di Londra, ai progetti abitativi a Brooklyn e in generale in tutta la Cina.
CONCLUSIONI
Il riconoscimento facciale, nelle scuole come altrove, e tutte le tecnologie digitali “influenzano e formattano” la nostra comprensione del mondo e la nostra relazione con esso.
Opportunità ma anche enormi sfide si stanno già rivelando urgenti. La questione non è solo tecnologica o di diritto; è prima di tutto sociale.
Pensare in modo statico alle istanze legate allo sviluppo tecnologico, nella società attuale è inutile: il bilanciamento tra diritti in tale contesto è ineliminabile ed il solo in grado di consentire la valorizzazione di quella che viene definita “scienza dei dati” orientata alla costruzione di un progetto umano sostenibile.
Siamo disposti a sostenere la sorveglianza pervasiva dei nostri spazi pubblici e privati in nome di una maggiore sicurezza? I medoti di apprendimento automatico si portano dietro inevitabilmente pregiudizi e discriminazioni e, dunque, quando, l’uso della tecnologia è veramente utile e necessario, legittimo e consensuale, piuttosto che solo “accattivante”?
La delega dei processi porta con sè un enorme potenziale trasformativo ed abilitante che non deve condurre alla deriva della delega delle decisioni.
In passato da Tucidide a Platone, tutti hanno esaltato le doti del pilota esperto che è il solo in grado di salvare la nave dai pericoli del mare.
È colui che vuole “prendere il desiderato porto per salutevole via”, che conosce i venti, le vele, le caratteristiche della propria imbarcazione; che deve sapere dove vuole arrivare, deve avere una direzione.
I diritti umani sono l’ago della bussola.
Sviluppare la consapevolezza avanzata delle caratteristiche della rivoluzione tecnologica in atto è non solo necessario ma improcrastinabile, per orientarne lo sviluppo. Uno sviluppo il cui futuro non è certo predeterminato e anzi, a seconda degli esiti, si potranno apprezzare enormi potenziali benefici per l’umanità e per il pianeta, oppure subirne i pesanti rischi di segregazione, sfruttamento e oppressione senza precedenti.
Le prime importanti decisioni sono già oggetto di discussione: nelle arre istituzionali, sui giornali, nelle piazze, comprese quelle digitali, nelle scuole.
Barbara Calderini
