Cinquanta bug in tre settimane e nessuno che li legga

Una falla vera rimasta fuori dalla porta

Bynario è una piccola società italiana di sicurezza informatica. Nelle settimane scorse ha puntato una piattaforma costruita sopra un modello di OpenAI contro l'ultima versione di macOS e in tre settimane ha messo insieme oltre cinquanta possibili vulnerabilità, tra cui una catena che riguardava la condivisione dello schermo e che avrebbe permesso a un utente già autenticato di leggere dati protetti e scrivere file con i privilegi più alti del sistema. Tradotto, il controllo completo della macchina.

Quando ha provato a comunicarla ad Apple, non ci è riuscita. Il suo account aveva già raggiunto il numero massimo di segnalazioni aperte consentite e per un mese non poteva aprirne altre. Il suo amministratore delegato Alfredo Pesoli ha stimato che quella falla, sul mercato nero degli exploit, sarebbe valsa tra 100 e 200mila dollari. La vicenda è stata raccontata dal Financial Times il 2 agosto e ripresa il giorno stesso da Reuters. Apple, dopo che la storia è diventata pubblica, ha contattato l'azienda direttamente.

È un episodio piccolo ma dice qualcosa di preciso su come sta cambiando il lavoro dentro le organizzazioni che hanno iniziato a usare l'intelligenza artificiale sul serio.

La regola che Apple ha cambiato in silenzio

A giugno Apple ha modificato il portale con cui i ricercatori indipendenti segnalano le vulnerabilità dei suoi prodotti. Ha introdotto un tetto al numero di segnalazioni che una stessa persona può tenere aperte contemporaneamente e un periodo di attesa di trenta giorni una volta raggiunto quel tetto. Chi ha bisogno di una quota più alta può chiederla, ma deve chiederla.

La modifica non era stata annunciata. Il motivo, confermato dall'azienda al Financial Times, è l'ondata di segnalazioni prodotte con i modelli linguistici. Sono testi ben scritti, pieni di terminologia corretta, che descrivono una falla plausibile. Solo che spesso quella falla non esiste. Il codice citato non fa quello che il testo dice, oppure la vulnerabilità è teorica e non raggiunge nulla di interessante. Il problema è che per saperlo bisogna leggerli tutti. Un programma di bug bounty, cioè il meccanismo con cui un'azienda paga chi le segnala un difetto di sicurezza invece di sfruttarlo, si regge interamente sul fatto che qualcuno dall'altra parte apra ogni busta.

Nello stesso periodo Apple ha alzato il premio massimo oltre i cinque milioni di dollari per le catene di exploit più gravi e ha introdotto i target flags, un meccanismo che chiede al ricercatore di dimostrare tecnicamente che la vulnerabilità raggiunge davvero una parte protetta del dispositivo, invece di descriverla e basta. Le due mosse vanno lette insieme. Una alza il valore del risultato buono, l'altra rende costoso presentarne uno finto.

C'è un dettaglio che aggiunge ironia alla vicenda. Apple usa a sua volta modelli di Anthropic e di OpenAI per cercare vulnerabilità nel proprio software, e le ultime versioni di sistema hanno contenuto un numero di correzioni di sicurezza molto superiore alla media. L'azienda non sta rifiutando l'AI applicata alla sicurezza. Sta rifiutando la coda di lavoro che l'AI genera quando arriva da fuori senza filtro.

Il collo di bottiglia si è spostato

Apple non è il primo caso e non è nemmeno il più drastico. A fine gennaio il progetto curl, la libreria open source che sta dentro praticamente ogni dispositivo connesso del pianeta, ha chiuso del tutto il proprio programma di bug bounty. Daniel Stenberg, che lo mantiene da quasi trent'anni, ha spiegato sul suo blog che la quota di segnalazioni poi confermate come vulnerabilità reali era rimasta per anni sopra il 15% e nel giro di pochi mesi era crollata sotto il 5%. Il suo obiettivo, ha scritto, non era punire l'AI ma togliere l'incentivo economico a mandare materiale non verificato.

I programmi di bug bounty sono passati dal trovare vulnerabilità al doverle validare a velocità macchina, ha detto al Financial Times Rafe Pilling di Sophos.

Questa è la frase da tenere. Il costo di produrre un'affermazione tecnica credibile è crollato. Il costo di stabilire se quell'affermazione è vera non si è mosso di un centimetro, perché richiede ancora una persona competente che riproduca il caso. Quando due costi che stavano insieme si separano di un ordine di grandezza, il punto di rottura si sposta e finisce esattamente dove nessuno lo stava guardando.

È la stessa dinamica di un magazzino che riceve dieci volte più merce di prima con lo stesso ufficio accettazione. Nessuno ha sbagliato a comprare. Semplicemente il collo di bottiglia non è più l'acquisto, è il controllo in ingresso, e chi non se ne accorge in tempo si ritrova con i bancali fuori dal cancello.

L'obiezione, e cosa se ne fa un'impresa

L'obiezione va presa sul serio. La storia di Bynario arriva quasi tutta da Bynario. È un'azienda che vende sicurezza, ha interesse a essere raccontata come quella che ha trovato la falla che Apple non ha voluto leggere, e la valutazione di 200mila dollari sul mercato nero è una stima sua, non un prezzo pagato da qualcuno. Apple, dal canto suo, ha un tetto tutt'altro che assurdo, prevede eccezioni su richiesta e ha contattato l'azienda appena la cosa è emersa. Chi volesse difendere la scelta di Cupertino avrebbe argomenti solidi.

Ma il meccanismo regge comunque, anche dando ragione ad Apple su tutta la linea. Una coda che non sa distinguere il materiale buono dal rumore prima di leggerlo può reagire in un solo modo, mettendo un limite quantitativo. E un limite quantitativo, per definizione, colpisce prima chi manda tanto, non chi manda male. I due gruppi si sovrappongono spesso ma non sempre, ed è esattamente nello scarto tra i due che si perde una vulnerabilità reale.

Qui c'è la parte che riguarda chiunque stia introducendo l'intelligenza artificiale in un'impresa, anche molto lontano dalla sicurezza informatica. Nel momento in cui uno strumento moltiplica per dieci le bozze di offerta, le risposte ai clienti, le analisi di un fornitore o le candidature che entrano in un processo di selezione, il valore non si sposta sulla produzione. Si sposta sul filtro. E il filtro, nella grande maggioranza dei progetti che vedo, non viene progettato affatto. Viene lasciato alle persone che c'erano prima, con lo stesso tempo di prima, che dopo qualche settimana fanno l'unica cosa possibile, cioè smettono di leggere con attenzione.

Il modo per uscirne non è rallentare la produzione. È chiedere una prova invece di una descrizione, che è precisamente quello che Apple ha fatto con i target flags. In un'azienda significa cose molto concrete. Un output dell'AI che arriva accompagnato dal riferimento verificabile da cui è stato tratto, e non da una sintesi convincente. Un controllo automatico che scarta prima della revisione umana tutto ciò che non supera un test oggettivo, un totale che non torna, una data che non esiste, un codice cliente che non è a sistema. Una misura, tenuta nel tempo, di quanta parte del materiale prodotto sopravvive alla verifica, perché quello è il numero che dice se lo strumento sta funzionando.

Quasi nessuno misura quel numero oggi. Le imprese contano quanto l'AI produce, non quanto di quel prodotto regge un controllo. È una metrica noiosa, non fa titolo in nessuna presentazione, e nei prossimi due anni separerà chi dall'intelligenza artificiale ha ricavato capacità in più da chi si è comprato una coda di lavoro che non riesce più a smaltire.