Decisioni su persone

Se si può usare l'intelligenza artificiale per selezionare i curriculum, cosa dice il GDPR sulle decisioni automatizzate, quando serve una revisione umana e come si contesta un esito: la differenza che conta non è tecnica ma di natura — un modello che scrive una mail produce un testo, un modello che ordina duecento candidature produce un esito, e qualcuno non verrà chiamato senza saperlo mai. Qui i sistemi che decidono, e le regole che li riguardano.

C'è una differenza di natura tra un modello che scrive una mail e un modello che ordina duecento curriculum. Nel secondo caso non produce un testo, produce un esito: qualcuno viene chiamato e qualcun altro no, e nessuno dei due lo saprà mai.

Uno studio di Princeton e University of Chicago mostra che i modelli linguistici segregano i candidati più di quanto facciano le persone, anche partendo senza alcun pregiudizio. Il pregiudizio non viene ereditato dai dati: si forma nel disegno del sistema. È il dato che smonta la difesa più comune — «l'algoritmo è neutro, dipende da cosa gli dai in pasto».

Il diritto se n'è accorto prima delle imprese. Nel decreto sull'AI Act il Garante della privacy ha provato a scrivere una regola sulle decisioni di lavoro affidate a un algoritmo mentre il dibattito parlamentare era altrove, e il rinnovo del contratto della sanità pubblica ha già fissato due obblighi: avvisare prima, e tenere umana la responsabilità dopo.

La stessa logica governa mondi che sembrano innocui. L'investimento di Meta in intelligenza artificiale serve a vendere più pubblicità, non a inseguire i chatbot: un sistema che sceglie chi vede cosa è, a tutti gli effetti, un sistema che decide su persone.

Qui stanno selezione, scoring, ordinamento, raccomandazione, analisi di documenti per decidere. Il criterio d'ingresso è uno: dalla decisione dipende qualcosa per qualcuno.