AI per Insegnanti e Prof 12: Educare alla ricerca della verità nel mondo digitale

Analisi degli errori di Chatgpt

Realtà o finzione?

“Nel momento in cui smettiamo di chiederci ‘perché?’, inizia il declino del nostro ingegno.” Queste parole di Albert Einstein ci ricordano l’importanza di mantenere vive la curiosità e la ricerca della verità. In un mondo sempre più dominato dalla tecnologia, è fondamentale sviluppare non solo competenze digitali, ma anche una solida base di pensiero critico. Noi e i nostri ragazzi viviamo immersi nel vasto universo dell’informazione digitale, affascinati dalla potenza dell’intelligenza artificiale. Tuttavia, con questa meraviglia tecnologica sorgono anche nuove sfide: come possiamo distinguere tra informazioni accurate e fake news?

Di fronte alla crescente mole di informazioni disponibili online, la nostra responsabilità come educatori è molto più ampia. Dobbiamo non solo insegnare agli studenti ciò che è giusto e sbagliato, ma anche come discernere e valutare criticamente le informazioni che incontrano quotidianamente. Come affermava il filosofo Carl Sagan, “L’educazione non è solo l’apprendimento di fatti, ma l’abilità di pensare in modo critico”.

ChatGPT, con la sua capacità di generare risposte in linguaggio naturale, rappresenta un’opportunità unica per esplorare il confine tra intelligenza umana e artificiale. Tuttavia, come ogni strumento, anche ChatGPT ha i suoi limiti e può commettere errori.

È qui che inizia il mio viaggio: nell’esplorazione degli errori di ChatGPT, individuati non solo come ostacoli, ma come preziose occasioni di apprendimento.

Attraverso questa attività di educazione civica, vorrei provare a guidare i miei studenti attraverso un processo di scoperta critica e riflessione. Insieme, analizzeremo una serie di esempi di risposte errate o fuorvianti fornite da ChatGPT, esplorando le ragioni di tali errori e discutendo come avremmo potuto evitarli. In questo modo, non solo acquisiremo una comprensione più profonda delle potenzialità e dei limiti dell’intelligenza artificiale, ma svilupperemo anche abilità essenziali di valutazione e verifica delle informazioni.

È celebre l’esortazione del filosofo Francis Bacon quando ammoniva che “Sapere è potere”, ma l’abilità di discernere e comprendere la verità, in un società liquida, priva di solidi ancoraggi, è ancora più potente.

Analisi degli errori: discussione tecnica

ChatGPT, sebbene abbia capacità notevoli nel comprendere e generare testo, essendo uno dei modelli di linguaggio più avanzati nel panorama tecnologico disponibile, non è immune da errori. ChatGPT può, infatti, fornire informazioni inesatte o completamente errate. Gli errori fattuali possono derivare dall’addestramento su dati non accurati o obsoleti. Sebbene il modello sia stato addestrato su un vasto corpus di testo fino al 2021, non ha accesso a informazioni aggiornate in tempo reale e può basarsi su dati superati o non verificati. Inoltre, il modello può mal interpretare il contesto della domanda, fornendo risposte che non rispondono precisamente alla query posta. Gli errori di contesto spesso derivano dalla mancanza di comprensione della sfumatura o del contesto specifico in cui viene posta una domanda. Questo può accadere a causa dell’ambiguità nel testo di input o della capacità limitata del modello di mantenere il contesto su lunghe conversazioni. A volte, un utente ingenuo, o semplicemente giovane, può non essere preciso e definito nella descrizione del prompt, aprendosi ad ambiguità che né lui né il sistema sanno cogliere. La sensibile attenzione dell’utente che si serve dello strumento è fondamentale dunque anche perché ChatGPT può interpretare in modo errato il significato di parole o frasi, portando a risposte che non rispecchiano accuratamente l’intento dell’utente.

Insidiosi, e non meno rilevanti, sono gli errori frutto di bias e pregiudizi. ChatGPT può manifestare bias impliciti nei suoi output, non perché sia un essere cosciente dotato di una personalità che si riflette nella formulazione delle risposte, quanto per il banale fatto che i pregiudizi emergono dai dati di addestramento, che riflettono i bias presenti nei dati di internet e di altre fonti utilizzate. Nonostante gli sforzi per mitigare questi bias, alcuni possono persistere ed è difficile coglierne le sfumature se si accettano acriticamente tutte le informazioni che vengono proposte.

Inoltre, nei modelli di linguaggio naturale si verificano, molto più spesso di quanto non si creda, dei fenomeni specifici chiamati allucinazioni. In un contesto di elaborazione di un NLP un’allucinazione si verifica quando un modello produce testo che non ha alcun fondamento nei dati di addestramento o nella realtà. Il risultato è che vengono proposte come risposte vere e plausibili fatti inesistenti, citazioni inventate o collegamenti logici del tutto illogici. È paradossale, ma ci sono momenti in cui la risposta ad una semplice domanda diretta su un dato storico preciso e oggettivo, può potare invece ad affermazioni inesatte con tanto di dati alterati e falsi. Ancora più grave è la possibilità, sempre presente, che il modello possa creare narrazioni o argomentazioni che, pur essendo grammaticalmente corrette e coerenti, e dunque plausibili ad un occhio inesperto, sono completamente inventate. Nessun problema se il prompt avesse come richiesta l’esplicita invenzione di una favola, ma se vengono elaborate teorie scientifiche inesistenti oppure si costruiscono storie fantasiose presentate come reali, attribuendo citazioni non corrette, le conseguenze possono essere non solo fastidiose ma anche pericolose.

Bisogna sempre ricordare che, per quanto Chatgpt, e lo sviluppo dell’AI, sia indubbiamente una delle più grandi innovazioni di questi ultimi anni, il modello non ha una comprensione intrinseca del mondo e manca di un meccanismo interno per verificare la veridicità delle informazioni generate. Il testo stesso ,che sembra crearsi da sé, di verghiana memoria, si basa essenzialmente su probabilità statistiche e pattern rilevati dai dati di addestramento. È facile dunque arrivare ad inferenze errate o generalizzazioni inappropriate.

Gli errori commessi da Chatgpt sono quindi una combinazione di limiti intrinseci all’architettura del modello, qualità e aggiornamento dei dati di addestramento, e rappresentazione dei bias. Sebbene sia uno strumento potente, è essenziale che tutti gli utenti, e soprattutto i ragazzi, comprendano questi potenziali errori e li considerino nel valutare le risposte fornite. La continua ricerca e miglioramento dei modelli di linguaggio mira a ridurre questi errori, migliorando l’accuratezza e l’affidabilità delle risposte generate ma al momento è necessario saper riconoscere la qualità di ogni risposta. Parafrasando e storipiando un po’ Seneca, chatgpt è un ottima guida, per il marinaio che sa dove andare.

Bisogna far passare il messaggio ai ragazzi che da ogni strumento si può trarre il massimo se e solo se si è consapevoli di tutti i limiti che si possono incontrare.

Tuttavia, impostare una lezione così trasmissiva, come quella che ho pure redatto in queste righe, non mi permetterebbe di raggiungere l’obiettivo. Per raggiungere davvero la loro convinzione ed attaccare la muraglia invalicabile del “funziona, ed è comodo così”, ho bisogno di metterli di fronte all’errore evidente e compiuto, dimostrare loro le trappole, facendoceli cadere dentro. E dall’errore, dal buco in cui li ho fatti precipitare, tendere loro la mano, per riemergere insieme con una acquisita consapevolezza.

Ecco allora che ho pensato di sviluppare in questo modo l’attività.

Descrizione dell’Attività

Dopo aver spiegato brevemente l’importanza del pensiero critico nell’uso delle tecnologie IA, perché anche Chatgpt, sebbene possa fornire informazioni utili, non è infallibile e può commettere errori, distribuisco un fascicolo contenente diversi esempi di risposte errate o fuorvianti fornite da ChatGPT.

Ogni esempio include una domanda, la risposta errata e alcune domande guida per aiutare gli studenti a identificare e discutere gli errori. Gli esempi coprono vari ambiti, tra cui storia, scienza, geografia e leggi.

Esempio 1: Informazione Storica Errata

Domanda: “Quando è stata scoperta l’America?”

Risposta di ChatGPT: “L’America è stata scoperta nel 1492 da Cristoforo Colombo, che ha raggiunto le coste dell’attuale California.

Errore: Cristoforo Colombo non ha raggiunto la California, ma le isole dei Caraibi. Inoltre, il concetto di “scoperta” è problematico poiché le Americhe erano già abitate.

Esempio 2: Fatti Scientifici Fuorvianti

Domanda: “Qual è il pianeta più caldo del nostro sistema solare?”

Risposta di ChatGPT: “Il pianeta più caldo del nostro sistema solare è Mercurio, poiché è il più vicino al Sole.”

Errore: Il pianeta più caldo è Venere, non Mercurio, a causa del suo effetto serra.

Esempio 3: Interpretazione Errata di Leggi

Domanda: “Qual è l’età minima per votare in Italia?”

Risposta di ChatGPT: “L’età minima per votare in Italia è 18 anni per le elezioni politiche e amministrative, ma 25 anni per il Senato.”

Errore: L’età minima per votare al Senato è 18 anni, 25 anni è l’età minima per essere eletti.

Esempio 4: Confusione Geografica

Domanda: “Qual è la capitale dell’Australia?”

Risposta di ChatGPT: “La capitale dell’Australia è Sydney.”

Errore: La capitale dell’Australia è Canberra.

Esempio 5: Fraintendimento di Concetti Medici

Domanda: “Il vaccino contro l’influenza causa l’influenza?”

Risposta di ChatGPT: “Sì, il vaccino contro l’influenza può causare l’influenza.”

Errore: Il vaccino può causare lievi sintomi simili, ma non l’influenza stessa.

In maniera onesta, molti dei ragazzi mi hanno confermato che se avessero svolto la ricerca in maniera indipendente, a casa, avrebbero accolto senza indugi le risposte fornite e non avrebbero mai messo in dubbio la validità e la correttezza delle risposte fornite. Solo le domande aggiuntive, poste dall’insegnante, hanno permesso loro, alla luce di informazioni che peraltro già possedevano dalla cultura generale fornita a scuola, di mettere in discussioni i risultati, arrivando alla conclusione che quanto ottenuto, sembrava corretto ma era fondamentalmente sbagliato.

Non è facile controllare sempre ogni informazione, soprattutto se si svolge una richiesta proprio per colmare una lacuna e ci si aspetta di ottenere una risposta a qualcosa che non si conosce.

Non siamo tuttologi, non la sono io e non ho la pretesa lo possano diventare i miei alunni, ma ho la speranza, quella sì, che rispetto a qualsiasi risposta pronta e preconfezionata che possano trovarsi di fronte, anche, e soprattutto, quando proviene da un sistema presentato come l’apoteosi dello sviluppo scientifico, continuino incessanti, a leggere i risultati e domandarsi: perché?