C'è una differenza di natura tra un modello che scrive una mail e un modello che ordina duecento curriculum. Nel secondo caso non produce un testo, produce un esito: qualcuno viene chiamato e qualcun altro no, e nessuno dei due lo saprà mai.
Uno studio di Princeton e University of Chicago mostra che i modelli linguistici segregano i candidati più di quanto facciano le persone, anche partendo senza alcun pregiudizio. Il pregiudizio non viene ereditato dai dati: si forma nel disegno del sistema. È il dato che smonta la difesa più comune — «l'algoritmo è neutro, dipende da cosa gli dai in pasto».
Il diritto se n'è accorto prima delle imprese. Nel decreto sull'AI Act il Garante della privacy ha provato a scrivere una regola sulle decisioni di lavoro affidate a un algoritmo mentre il dibattito parlamentare era altrove, e il rinnovo del contratto della sanità pubblica ha già fissato due obblighi: avvisare prima, e tenere umana la responsabilità dopo.
La stessa logica governa mondi che sembrano innocui. L'investimento di Meta in intelligenza artificiale serve a vendere più pubblicità, non a inseguire i chatbot: un sistema che sceglie chi vede cosa è, a tutti gli effetti, un sistema che decide su persone.
Qui stanno selezione, scoring, ordinamento, raccomandazione, analisi di documenti per decidere. Il criterio d'ingresso è uno: dalla decisione dipende qualcosa per qualcuno.