Il pregiudizio che l'intelligenza artificiale si inventa da sola

Il fatto

Prendete quattro gruppi di persone che non esistono. Chiamateli Tufa, Aima, Reku e Weki, dategli le stesse identiche probabilità di riuscire in qualsiasi lavoro voi scegliate per loro e mettete un'intelligenza artificiale al posto di un selezionatore umano. È l'esperimento condotto da un gruppo di ricercatori di Princeton University e University of Chicago, i cui risultati sono stati presentati alla conferenza ICML di Seoul e ripresi da MIT Technology Review il 20 luglio.

Il meccanismo era semplice. I modelli, tra cui ChatGPT, Claude, Gemini, o3 di OpenAI e R1 di DeepSeek, dovevano assegnare candidati a 20 tipi di lavoro diversi, da medico ad avvocato, da addetto all'infanzia a custode. In ogni turno arrivavano quattro candidati, uno per ciascun gruppo etnico fittizio e il modello riceveva un riscontro su quanto la scelta si fosse rivelata azzeccata. Nessun candidato aveva, in partenza, più probabilità di successo di un altro, la differenza tra i gruppi era solo nominale.

Alla fine dell'esperimento i ricercatori hanno misurato quanto ogni gruppo si fosse ritrovato confinato in un numero ristretto di mestieri, usando una scala di segregazione occupazionale dove 2 rappresenta la separazione completa. I partecipanti umani dello studio originale, da cui l'esperimento è stato adattato, si erano fermati a 0,84. I modelli linguistici hanno superato quel valore in media del 65%, con il modello di ragionamento o3 di OpenAI arrivato a 1,83, a un passo dal massimo teorico.

Perché conta ora

La notizia non è che l'intelligenza artificiale può essere distorta. È un tema di cui si parla da anni, da quando i primi software di selezione del personale hanno iniziato a riprodurre pregiudizi già presenti nei dati con cui erano stati addestrati, spesso ereditati da decenni di decisioni umane su chi assumere e chi no. Quello che questo studio aggiunge è diverso e più scomodo per chi pensa che basti evitare dati storicamente compromessi per essere al sicuro.

Qui non c'era nessun pregiudizio storico da ereditare. I nomi dei gruppi erano inventati apposta, senza alcun legame con categorie reali o con dati di addestramento pregressi. Eppure i modelli hanno costruito comunque una segregazione più marcata di quella umana. Secondo Ryan Liu, dottorando a Princeton e coautore dello studio insieme ad Angelina Wang della Cornell University, la spiegazione sta nel modo in cui questi sistemi vengono addestrati.

Sono davvero propensi a creare generalizzazioni a partire da pochi dati. È letteralmente gran parte di ciò per cui sono ottimizzati.

I modelli linguistici imparano soprattutto su compiti di matematica, programmazione e ragionamento logico, dove riconoscere rapidamente un pattern da pochi esempi è una qualità premiata. Lo stesso istinto che li rende efficaci nel risolvere un problema logico li porta, di fronte a informazioni ambigue su delle persone, a fissarsi su una prima impressione e a trattarla come una regola generale. Bastano pochi episodi in cui un candidato di un certo gruppo si è comportato in un certo modo perché il sistema estenda quell'osservazione a tutto il gruppo, anche quando il campione è minuscolo e privo di significato statistico.

Un'obiezione da prendere sul serio

Si potrebbe obiettare che anche i selezionatori umani stereotipano e che lo studio lo conferma. Gli esseri umani nell'esperimento originale non partivano da zero, erano già a un punteggio di segregazione di 0,84, tutt'altro che nullo. Se anche le persone sbagliano, perché pretendere che una macchina faccia meglio?

La risposta onesta è che il problema non è il confronto assoluto tra uomo e macchina, ma la combinazione tra la scala con cui l'intelligenza artificiale viene adottata e la fiducia implicita che le viene concessa. Un selezionatore umano prende poche decine di decisioni in un anno, ognuna delle quali può essere corretta da un collega, da un colloquio successivo, da un reclamo. Un sistema che assiste centinaia di aziende nella selezione del personale applica lo stesso meccanismo di generalizzazione affrettata su una scala che nessun singolo selezionatore umano potrebbe mai raggiungere, spesso senza che nessuno se ne accorga, perché il sistema viene percepito come neutro proprio in virtù del fatto che non ha pregiudizi dichiarati o storici da cui partire. Lo studio mostra che l'assenza di pregiudizi di partenza non garantisce affatto l'assenza di pregiudizi in uscita.

C'è anche una parte incoraggiante nei risultati, che vale la pena riportare per intero. I ricercatori hanno scoperto che offrire ai modelli un piccolo incentivo esplicito per assunzioni più diverse riduceva sensibilmente la segregazione. Lo stesso effetto si otteneva fornendo ai modelli informazioni più specifiche e personali sui singoli candidati, invece di lasciarli lavorare su pochi tratti generici. In altre parole, il comportamento non è immutabile, cambia in modo misurabile a seconda di come il sistema viene istruito e di quali dati riceve in input.

Cosa cambia per chi adotta questi strumenti

Per chi lavora con le imprese sull'adozione dell'intelligenza artificiale, la lezione di questo studio riguarda meno l'etica in astratto e più il metodo con cui uno strumento del genere viene introdotto in un processo reale come la selezione del personale. Nei progetti di adozione vedo spesso una convinzione implicita, quella secondo cui uno strumento senza pregiudizi dichiarati sia per ciò stesso uno strumento neutro e che quindi la responsabilità di eventuali distorsioni ricada solo sui dati storici da cui parte. Questo studio dimostra che la questione è più ampia, riguarda anche gli obiettivi con cui il sistema viene istruito e la quantità di informazioni specifiche che riceve su ogni caso.

Per una piccola o media impresa che sta valutando strumenti di intelligenza artificiale nella selezione del personale, o più in generale in qualunque processo che comporta decisioni ripetute su persone, la domanda utile non è se il fornitore garantisce l'assenza di pregiudizi. È quali incentivi espliciti sono stati costruiti nel sistema per correggere le generalizzazioni affrettate e quanta informazione specifica sul singolo caso il sistema riceve prima di decidere. Sono parametri concreti, verificabili, discutibili con chi fornisce lo strumento prima di adottarlo, non promesse generiche di neutralità. È lì che si gioca la differenza tra un'adozione fatta con metodo e una fatta per fiducia cieca in un'etichetta di imparzialità che, come mostra lo studio di Princeton e Chicago, nessuno strumento può darsi da solo.