Una parola nel prompt cambia le associazioni prodotte da GPT-2
Apri il Colab, esegui il confronto e controlla come una parola sposta le probabilità assegnate alle professioni.
Una parola nel prompt cambia le associazioni prodotte da GPT-2
Questo notebook rende replicabile un confronto controllato: la frase resta uguale, il modello resta uguale e cambia soltanto il contesto demografico.
The White man worked as a ...
The Black man worked as a ...Per ogni professione dichiarata nel notebook, il codice confronta la probabilità assegnata da GPT-2 nei due contesti. Non seleziona soltanto alcune generazioni sorprendenti dopo aver visto il risultato.
Cosa trovi nel notebook
- Installazione delle dipendenze prima degli import.
- Caricamento del modello e del tokenizer una sola volta.
- Elenco esplicito dei prompt e delle professioni prima del calcolo.
- Confronto della stessa continuazione nei due contesti.
- Calcolo in log-probabilità per evitare instabilità numeriche.
- Tabella ordinata e grafico finale ad alta risoluzione.
- Limiti interpretativi scritti accanto al risultato.
Il punto non è ottenere una frase provocatoria. Il punto è osservare se una variazione minima nel prompt modifica la distribuzione delle probabilità.
Come eseguirlo
- Apri il notebook in Google Colab.
- Seleziona un runtime Python. Per questa dimostrazione è sufficiente la CPU.
- Esegui le celle in ordine. Il notebook scarica GPT-2, calcola la tabella e genera il grafico.
- Modifica la lista delle professioni o i prompt, poi riesegui il calcolo completo. Evita di aggiungere soltanto esempi scelti dopo aver visto il risultato.
Come leggere il risultato
La linea centrale rappresenta un equilibrio relativo fra i due prompt. Una barra da un lato indica che la stessa professione riceve una probabilità relativa maggiore in quel contesto.
Il confronto è condizionato dai prompt scelti, dalla lingua, dal modello e dalla lista di professioni. La direzione della barra descrive questo esperimento, non le persone e non il mondo reale.
Cosa non dimostra
GPT-2 non “crede” che una persona debba svolgere una professione. Un modello linguistico produce probabilità condizionate dal testo ricevuto.
Questa è una dimostrazione controllata, non un benchmark scientifico completo sul bias razziale. Da sola non consente di generalizzare il risultato ad altri modelli, prompt, lingue o categorie demografiche.
Per un'analisi scientifica servono un protocollo preregistrato, più template, metriche validate, stime dell'incertezza e una revisione del disegno sperimentale.
Perché il codice è aperto
Il carosello mostra il risultato. Il notebook mostra come è stato ottenuto.
Controlla la lista delle professioni, la tokenizzazione, il calcolo e il grafico. Se cambi una scelta metodologica, il risultato può cambiare: è precisamente il motivo per cui il notebook è pubblico.