L'AI non mente e non sa la verità: prevede solo la parola più probabile

Chiedi all'AI la fonte di un dato che ti serve per una presentazione. Ti risponde con una citazione perfetta: autore, titolo, anno, persino il numero di pagina. Formattata meglio di come l'avresti scritta tu. Poi vai a cercarla e non esiste. Non è sbagliata, non è approssimativa. Non esiste proprio. Il modello l'ha costruita dal nulla, con la stessa sicurezza con cui ti avrebbe dato una fonte vera.

Questo si chiama allucinazione. È la cosa che spaventa di più chi inizia a usare l'AI per lavoro, ed è anche la più fraintesa. La maggior parte delle persone la tratta come un difetto occasionale, un bug che prima o poi verrà sistemato. Non è così. L'allucinazione è il modo normale in cui un modello linguistico funziona. Capire perché succede è la differenza tra fidarti a caso e sapere esattamente dove guardare prima di premere invio.

"Allucinazione" è la parola sbagliata, ma è quella che useremo

La parola inganna, perché suggerisce che il modello di solito dica la verità e ogni tanto "veda cose che non ci sono", come una mente stanca. La realtà è diversa. Il modello non distingue mai tra vero e falso. Non ha un momento in cui è lucido e uno in cui delira. Fa sempre la stessa identica cosa, e a volte quella cosa coincide con la realtà, a volte no.

Alcuni ricercatori preferiscono chiamarle "confabulazioni" o "bluff". Rende meglio l'idea: il modello non mente, perché mentire richiede sapere la verità e dire il contrario. Il modello riempie un vuoto con la risposta che suona più plausibile, senza avere modo di sapere se quella risposta è anche vera. Useremo "allucinazione" perché è il termine diffuso, ma tienila a mente come parola di comodo, non come diagnosi.

Perché l'AI inventa: prevede la parola più probabile, non la verità

Un modello linguistico fa una sola operazione, ripetuta milioni di volte: guarda il testo scritto fino a quel punto e prevede quale sia la parola più probabile che viene dopo. Poi la aggiunge, guarda di nuovo tutto, e prevede la successiva. Non sta consultando un database di fatti. Sta continuando un testo nel modo statisticamente più credibile, imparato leggendo enormi quantità di scrittura umana.

Il discorso è questo: "credibile" e "vero" sono due cose diverse, e il modello ottimizza solo la prima. Una fonte inventata ma ben formattata è statisticamente credibile, perché assomiglia a migliaia di fonti vere che il modello ha visto. Un numero tondo in un contesto che chiede un numero è credibile. Una risposta sicura è più credibile di un "non lo so". Il modello produce testo che sembra giusto, e quando quello che sembra giusto è anche giusto è perché il pattern coincideva con la realtà, non perché il modello abbia verificato qualcosa.

Dentro il modello non c'è un archivio

È utile smettere di immaginare il modello come una biblioteca da cui pesca la scheda giusta. Dentro non ci sono documenti salvati. Ci sono i pesi di una rete, cioè il riassunto compresso di regolarità viste in addestramento. I fatti molto frequenti e ripetuti in mille modi diversi restano impressi bene, ed è raro che il modello sbagli la capitale della Francia. I fatti rari, specifici, arbitrari, come la data di un contratto minore o il numero esatto di una delibera, non hanno un pattern forte da cui essere ricostruiti. Quando gli chiedi uno di quei fatti, il modello non ha niente da cui pescare, e allora lo genera. Il ricercatori di OpenAI lo spiegano bene in un loro articolo tecnico su perché i modelli linguistici allucinano: un fatto raro e non deducibile dai pattern è il terreno naturale dell'invenzione.

È premiata per sembrare sicura, non per dire "non lo so"

C'è un secondo motivo, ed è nel modo in cui questi modelli vengono valutati. Se un test premia le risposte corrette e tratta un "non lo so" come un errore al pari di una risposta sbagliata, il modello impara che tirare a indovinare conviene sempre. Meglio provare a rispondere che ammettere il dubbio, esattamente come uno studente a un quiz a crocette dove le risposte in bianco valgono zero. Il risultato è un sistema che ha una tendenza strutturale a bluffare con tono sicuro, invece di fermarsi. La sicurezza con cui l'AI ti dà una risposta non dice niente sulla sua correttezza. È la trappola principale.

I cinque segnali che stai guardando un'allucinazione

Non puoi vedere dentro il modello, ma puoi imparare a riconoscere la forma di un'allucinazione dall'esterno. Non sono regole infallibili, sono campanelli. Quando ne senti suonare uno, rallenta e verifica.

1. Fonti troppo perfette. Una citazione con autore, titolo, editore, anno e pagina, tutto pulito, che compare senza che tu l'abbia data. Le fonti vere spesso sono incomplete o imprecise. Una fonte impeccabile che il modello "ricorda" a memoria è sospetta finché non la trovi davvero.
2. Numeri troppo comodi. Percentuali tonde, cifre che chiudono bene un ragionamento, dati precisi su cose oscure. Se l'AI ti dà "il 73% delle PMI" senza citare una rilevazione controllabile, quel numero è probabilmente un riempitivo plausibile, non una misura.
3. Sicurezza uniforme. Il modello risponde con lo stesso tono deciso sia sulla capitale della Francia sia sul comma di una legge di settore. Un esperto umano cambia registro quando entra in una zona che conosce meno. Il modello no, e quella piattezza di sicurezza è di per sé un segnale.
4. Dettagli iper-specifici su argomenti di nicchia. Più la domanda è oscura, più un livello di dettaglio sorprendente dovrebbe insospettirti. Su un tema che pochissime persone conoscono, una risposta ricca e circostanziata è spesso ricostruita, non recuperata.
5. Coerenza che regge solo dentro la risposta. La risposta sta in piedi da sola, è logica e ben costruita, ma appena provi a incrociarla con una fonte esterna qualcosa non torna. Il modello è bravissimo a essere internamente coerente. Il controllo va fatto fuori dal testo che ti ha dato.

Perché non sparisce con i modelli più potenti

Ogni nuova generazione di modelli allucina meno della precedente, ed è un progresso reale. Ma la tendenza a inventare non si azzera aumentando la potenza, perché non nasce da una mancanza di capacità. Nasce dall'obiettivo stesso con cui il modello è costruito: produrre testo plausibile. Un modello più grande produce testo plausibile meglio, il che vuol dire anche che le sue allucinazioni diventano più difficili da smascherare, meglio scritte, più convincenti.

Questo è il punto controintuitivo che conviene interiorizzare: un modello migliore non ti toglie il lavoro di verifica, te lo rende più insidioso. Più le risposte sbagliate sembrano giuste, più serve un occhio allenato. Chi si aspetta che "tra due versioni il problema sarà risolto" sta rimandando una competenza che gli serve adesso e gli servirà anche dopo.

Dove il rischio ti costa di più

Non tutte le allucinazioni pesano uguale. Se l'AI ti sbaglia una parola in una bozza di post, te ne accorgi e correggi. Se ti inventa un riferimento normativo in una risposta a un cliente, o un dato in una relazione, o una funzione che un software non ha, il costo è di un altro ordine. Vale la pena sapere dove alzare la guardia.

• Fonti, citazioni e riferimenti normativi. È la zona rossa. Sono esattamente i fatti rari e arbitrari che il modello ricostruisce peggio, e sono anche quelli che chi ti legge tende a prendere per buoni proprio perché formattati bene.
• Numeri e statistiche. Ogni percentuale, importo o data che l'AI produce senza una fonte controllabile va trattata come una bozza da verificare, non come un dato.
• Fatti su prodotti, persone o eventi recenti. Il modello lavora su ciò che ha visto in addestramento. Su cose successe da poco, o molto specifiche, riempie i vuoti.
• Istruzioni tecniche e comandi. Un comando che "sembra giusto" può essere inventato. Nel dubbio si prova in un ambiente sicuro, non in produzione.

Una regola pratica che uso: più la risposta è verificabile da qualcun altro e più il suo errore ti costa reputazione o soldi, più è obbligatorio controllarla prima di farla uscire dal tuo schermo.

Il test dei trenta secondi prima di fidarti

Non serve diventare esperti di reti neurali per proteggersi. Serve un piccolo rituale, veloce, da applicare ogni volta che l'output conta. Trenta secondi ben spesi valgono più di qualsiasi modello più potente.

1. Chiediti: questo è un fatto raro o comune? Se è raro, specifico, arbitrario, sei nella zona di rischio e devi verificare. Se è di dominio comune, il rischio è più basso, ma non zero.
2. Cerca la fonte fuori dalla risposta. Non chiedere all'AI di confermare sé stessa, la confermerà con lo stesso tono. Apri un'altra scheda e controlla il dato o la citazione a mano. Se non la trovi in cinque minuti, trattala come inventata.
3. Guarda il tono. Se la sicurezza è uniforme su cose facili e cose difficili, ricordati che quella sicurezza non misura la verità. Non lasciarti trascinare dal fatto che "suona giusto".
4. Riformula e richiedi. Chiedi la stessa cosa in modo diverso, o chiedi esplicitamente "cita solo se sei sicuro della fonte, altrimenti dillo". Non elimina il problema, ma spesso fa emergere l'incertezza che il modello aveva nascosto sotto il tono deciso.

Se vuoi il quadro completo del passo "verifica", l'ho trattato a parte parlando di come valutare un output prima di usarlo e, più in generale, di come verificare quello che l'AI ti restituisce. Riconoscere l'allucinazione è il primo pezzo. La verifica sistematica è il secondo.

È un problema di alfabetizzazione, non di tecnologia

La cosa importante è questa: l'allucinazione non si risolve scegliendo il modello giusto. Si gestisce sapendo come funziona lo strumento. È una competenza umana, non un aggiornamento software. Ed è esattamente il tipo di competenza che la legge europea ha messo per iscritto.

L'Articolo 4 dell'AI Act impone dal 2 febbraio 2025 un livello sufficiente di alfabetizzazione sull'AI a chiunque la usi per lavoro, dipendenti e collaboratori esterni compresi. Non chiede un corso specifico, chiede che le persone capiscano opportunità e rischi di ciò che usano. Sapere che un modello prevede la parola più probabile e non conosce il vero è alfabetizzazione AI nel senso preciso della norma. La vigilanza delle autorità nazionali parte da agosto 2026, ma l'obbligo esiste già. Ne ho scritto in modo più esteso in cosa significa davvero l'obbligo di alfabetizzazione AI.

Riconoscere le allucinazioni si lega alle altre competenze di base: dare all'AI il contesto giusto per abbassare il rischio di invenzione, come nel loop descrivi e valuta, e sapere cosa non scrivere mai in un prompt quando la posta in gioco sale. È lo stesso impianto del framework AI Fluency, i quattro D di alfabetizzazione, in cui il "discernment" è proprio la capacità di valutare gli output invece di berli. La cornice concettuale è di Rick Dakan e Joseph Feller con Anthropic, il contenuto qui sopra è mio.

Domande frequenti

Le allucinazioni spariranno con i modelli futuri?

Diminuiscono a ogni generazione, ma non si azzerano, perché non dipendono dalla potenza. Dipendono dall'obiettivo del modello, che è produrre testo plausibile. Un modello più forte allucina meno spesso e in modo più convincente, quindi la verifica resta necessaria.

Posso chiedere all'AI se sta allucinando?

Puoi, e a volte aiuta a far emergere un'incertezza nascosta. Ma la sua conferma non è una garanzia: il modello valuta la propria risposta con la stessa logica del testo plausibile. La verifica affidabile si fa fuori, su una fonte indipendente.

Quali sono i casi in cui devo stare più attento?

Fonti e citazioni, numeri e statistiche senza fonte controllabile, fatti su prodotti o eventi recenti, comandi e istruzioni tecniche. Sono i punti dove il modello ricostruisce di più e dove l'errore costa di più.

Cinque mosse per lavorarci sopra da domani

1. Tratta ogni fonte, numero e citazione dell'AI come una bozza da verificare, non come un dato acquisito.
2. Verifica sempre fuori dalla risposta, su una fonte indipendente, mai chiedendo all'AI di confermare sé stessa.
3. Ricordati che la sicurezza del tono non misura la correttezza. Anzi, quando è uniforme è un campanello.
4. Alza la guardia dove l'errore ti costa reputazione o soldi: clienti, relazioni, riferimenti normativi, produzione.
5. Insegna questa cosa a chi lavora con te. È alfabetizzazione condivisa, ed è anche quello che l'Art. 4 ti chiede di garantire.

Se vuoi capire dove il tuo uso dell'AI è già a posto e dove hai un buco, ho messo online un self-check gratuito sull'AI Act pensato per chi lavora, non per giuristi. Dieci minuti, nessun tecnicismo. Il primo passo per non farti sorprendere non è comprare uno strumento migliore. È sapere come funziona quello che hai già in mano.