Quanto dovremmo essere preoccupati dell'AI? La domanda che conta è un'altra

L'8 settembre Jacob Coxon si è dimesso da Anthropic con una serie di messaggi su X. Ha scritto che i laboratori «stanno correndo diritti verso una superintelligenza che si migliora da sola, e stanno scommettendo con le nostre vite», e che «le persone che costruiscono l'AI credono sinceramente che potrebbe ucciderci tutti entro la fine del decennio».

La prima reazione, quella che ho letto ovunque per due giorni, è stata: è un ragazzo, era lì da poco, scrive per farsi notare. È la reazione comoda, e ha un problema: non regge ai fatti.

Coxon ha lavorato tre anni nel personale tecnico di OpenAI, dal 2023 al luglio 2026, sulla fase di addestramento dei modelli. Ad Anthropic era arrivato da due mesi. Ma il punto non è nemmeno il suo curriculum. Il punto è chi gli ha risposto: Evan Hubinger, che in Anthropic guida il lavoro scientifico sull'allineamento, ha scritto pubblicamente «Jacob ha ragione: crediamo sinceramente che l'AI possa uccidere tutti gli esseri umani», aggiungendo di stimare una probabilità superiore al 10% entro il prossimo decennio.

Non è un ex dipendente scontento contro un'azienda. È un'azienda che conferma il proprio ex dipendente.

Le due storie, e cosa hanno in comune

Sul tavolo ci sono due racconti, e nessuno dei due serve a chi deve decidere qualcosa lunedì mattina.

Il primo è l'apocalisse. Ha una comodità nascosta che vale la pena nominare: se il pericolo è di specie, chi costruisce il sistema è vittima quanto chi lo usa. La responsabilità si dissolve in una probabilità. Nessuno firma niente.

Il secondo è l'ottimismo d'ordinanza, quello che chiede ai protagonisti di «tornare a raccontarci un futuro florido». Lo capisco e in parte lo condivido: senza un minimo di fiducia condivisa non si costruisce nulla, e questa è probabilmente l'occasione industriale più grande che ho davanti nella mia vita professionale. Ma anche questa è una richiesta di narrazione. Un racconto più gentile resta un racconto, e non entra in un contratto.

Hanno in comune la cosa che conta: spostano la conversazione dove non si può verificare niente. Una probabilità di catastrofe entro dieci anni non si può falsificare oggi, e un futuro luminoso nemmeno.

La paura ha già prodotto conseguenze, e non erano metaforiche

Ad aprile, in quattro giorni, sono successe due cose che di solito non si mettono nella stessa frase.

Il 6 aprile a Indianapolis sono stati sparati circa tredici colpi contro la casa del consigliere comunale Ron Gibson, che era dentro con il figlio di otto anni. Nessuno è stato ferito. Sotto lo zerbino c'era un biglietto: «No data centers». Giorni prima Gibson aveva votato a favore di un centro dati da mezzo miliardo di dollari nel suo quartiere.

Il 10 aprile, verso le 3:40 del mattino, un ventenne ha lanciato una molotov contro la casa di Sam Altman a San Francisco, e poi ha puntato la sede di OpenAI. È accusato di tentato omicidio e incendio doloso. Nessun ferito. Quando è stato fermato, addosso aveva un documento con le sue posizioni contro l'AI e contro i dirigenti delle aziende del settore, in cui si parlava della «nostra imminente estinzione».

Non sto dicendo che chi avverte del rischio è responsabile di chi spara. Sto dicendo una cosa più scomoda per tutti: la storia dell'estinzione è già uscita dal seminario, e c'è chi la prende alla lettera. Chi la racconta a un pubblico generale, con la sicurezza con cui la si racconta oggi, questa conseguenza la mette nel conto oppure no.

Cosa può verificare un'impresa, e cosa no

Qui prendo posizione, e riguarda il mio lavoro di tutti i giorni.

Nessuno può mettere a bilancio un 10% di catastrofe. Non esiste un premio assicurativo, non esiste una clausola, non esiste un fornitore alternativo. Quella cifra, per un'azienda che deve decidere se mettere un modello in un processo, è informazione inutilizzabile: se ci credi non compri niente, se non ci credi non cambi niente.

Però nella stessa settimana in cui si discuteva di estinzione, ho scritto tre pezzi su cose che sono già accadute a qualcuno, tutte documentate:

• I filtri di sicurezza di un modello a pagamento si sono attivati contro la vittima di un attacco, impedendole di analizzare i log del proprio incidente. L'azienda ha dovuto installarsi un modello in casa per fare il lavoro.
• Un accordo fra due giganti promette che i dati restino dentro un perimetro di sicurezza, ma per metà dell'accordo quella garanzia non è scritta da nessuna parte, e il luogo dell'elaborazione non è dichiarato.
• Sul listino di Google, il prezzo di due modelli raddoppia il 1° gennaio 2027, scritto nero su bianco sulla pagina ufficiale.

Sono tutti rischi noiosi. Nessuno di questi finisce su tech Twitter. Ma sono gli unici che si possono infilare in un contratto: dove gira il modello, chi risponde se si rifiuta di lavorare, cosa succede al prezzo a una data, cosa hai in mano il giorno in cui il fornitore cambia politica.

Un uso serio di quella percentuale

Detto questo, la dichiarazione di Hubinger non la butterei via. Vale, ma non come previsione: vale come dichiarazione di un fornitore su se stesso.

Un'azienda che dice pubblicamente «non siamo sicuri di mantenere il controllo di ciò che stiamo costruendo» sta ammettendo un'incertezza di governo del prodotto. E l'incertezza di governo si controlla con domande che hanno una risposta scritta: quanto preavviso mi dai se cambi le condizioni d'uso, che succede a un modello che ritiri dal listino mentre il mio processo ci gira sopra, chi decide che il mio compito legittimo somiglia troppo a uno vietato. Chi dichiara un rischio esistenziale e non risponde a queste tre domande sta scegliendo la parte facile della sincerità.

Io continuo a costruire su questi sistemi, e continuo a comprarli. Non perché mi fidi di chi li fa — la fiducia non è la categoria giusta per un rapporto di fornitura — ma perché su ogni singolo pezzo del lavoro riesco a scrivere cosa deve succedere se va male, e a tenere un secondo binario per quando il primo dice no.

Da che parte sto

L'ottimismo e il panico, in questa storia, fanno la stessa cosa: chiedono di credere. È la richiesta sbagliata. A un fornitore non si chiede di essere creduto, si chiede di essere verificabile.

Se una parola sola dovesse restare di questo pezzo, non sarebbe né «catastrofe» né «occasione». Sarebbe una domanda da fare al prossimo commerciale che vi propone un'AI: cosa mi scrivete nel contratto? Se la risposta è una visione del futuro, in una direzione o nell'altra, non avete davanti un fornitore. Avete davanti un narratore.

E una cosa concreta da fare questa settimana. Prendete il sistema di AI su cui poggia il vostro processo più importante e scrivete tre righe: dove gira, cosa fate il giorno in cui si rifiuta di rispondere, quanto costa oggi e a che data quel prezzo cambia. Se tutte e tre le righe restano vuote, il vostro problema con l'intelligenza artificiale non è quello di cui si discuteva su Twitter questa settimana.