Guasti e sicurezza

Cosa succede quando un servizio di intelligenza artificiale si ferma, chi risponde dei danni e cosa scrivere nel contratto per non scoprirlo dopo: sono le tre domande che arrivano sempre insieme, e la risposta breve è che una funzione con l'AI dentro ha dipendenze proprie, che nel piano di continuità vanno contate a parte. Qui stanno i guasti documentati fino alla causa tecnica, non i commenti sul rischio in astratto.

Il 17 agosto una politica di scalatura automatica mal configurata ha fermato GitHub per quasi otto ore. Il servizio che autorizza Copilot è rientrato quattro ore dopo tutto il resto. Quel ritardo non è un dettaglio operativo: dice a chi compra software che la funzione con l'intelligenza artificiale ha dipendenze proprie, e che nel piano di continuità va contata a parte.

Questa sezione raccoglie ciò che si rompe, ciò che è nascosto e ciò che si comporta diversamente da come è stato promesso. Con una regola: la causa tecnica, non la morale. «Mancava metodo» non è una spiegazione, è una consolazione.

Alcuni difetti non arrivano dai dati ma dal disegno. Uno studio di Princeton e University of Chicago mostra che i modelli linguistici segregano i candidati nella selezione del personale più delle persone, anche senza alcun pregiudizio di partenza. Altri stanno dentro il modello e non compaiono mai nella risposta: Anthropic ha individuato un'area interna in cui restano attivi concetti che il sistema non dice, e ha mostrato che i modelli si comportano diversamente quando percepiscono di essere valutati. Vale anche per chi scrive qui: per tre settimane il generatore di questa rassegna ha ignorato le regole che avevo aggiornato, senza un errore e senza un log. Ventuno pezzi su trenta ne portavano il segno e non l'avevo visto.

Qui stanno guasti, falle, comportamenti nascosti e pregiudizi dei sistemi in produzione. Le vertenze legali stanno altrove: un processo non è un post-mortem.