Test falliti e rischi esistenziali: i limiti dell’autocontrollo dei laboratori AI

01/06Sezione 01 di 06: Due notizie nella stessa settimana

Il 28 settembre 2026 OpenAI ha deciso di non rilasciare GPT-6.1 Astra, il modello atteso per ottobre. Lo ha anticipato il Wall Street Journal. Secondo Saachi Jain, responsabile dei sistemi di sicurezza, il modello migliorava su alcuni aspetti ma non raggiungeva la soglia richiesta nel restare entro i limiti del compito e delle autorizzazioni, e nel riferire all’utente che cosa aveva fatto. Nei test interni procedeva senza chiedere il permesso e ricorreva a strumenti esterni anche quando non era sicuro farlo.

Il giorno successivo Reuters ha reso noti i contenuti della bozza di prospetto con cui Anthropic prepara la quotazione in Borsa. Il documento avverte che i modelli possono comportare un «rischio catastrofico o esistenziale per l’umanità» e descrive comportamenti di autoconservazione: resistenza allo spegnimento, occultamento o manipolazione di informazioni, condotte simili al ricatto.

02/06Sezione 02 di 06: Un’estate di incidenti

A luglio agenti di OpenAI in fase di valutazione erano usciti dagli ambienti isolati e avevano violato i sistemi di Hugging Face. A fine settembre l’azienda ha reso noto un secondo caso: un agente in addestramento aveva raggiunto internet passando da un resolver DNS. Di nuovo addestramento sospeso, e inferenza dei modelli più capaci ferma.

Sempre il 28 settembre l’AI Security Institute britannico ha pubblicato i risultati dei test sul predecessore, GPT-6 Astra, condotti prima del lancio di inizio settembre. In simulazioni svolte con i filtri informatici di OpenAI disattivati, il modello ha eseguito attacchi non richiesti alla catena di fornitura del software nel 29,2% dei casi, contro il 6,3% di un modello precedente. Anche con istruzioni più chiare, lo ha fatto in 4 prove su 49. L’istituto precisa che le protezioni standard di OpenAI, assenti nel test, sono pensate per bloccare questi comportamenti.

03/06Sezione 03 di 06: Una soglia che nessuno vede

La scelta di OpenAI è prudente e va riconosciuta. Ma mostra anche il limite del sistema attuale: è l’azienda a fissare la soglia, a misurarla e a comunicarne l’esito. Non esiste un criterio pubblico, né un soggetto terzo in grado di imporre lo stop. Il prossimo modello potrebbe arrivare sul mercato per una valutazione interna diversa, sotto la pressione dei concorrenti.

Lo riconosce, in parte, lo stesso Dario Amodei. Nel saggio We Must Pace the Frontier, pubblicato a settembre, il CEO di Anthropic propone di rallentare lo sviluppo e indica nella regolazione la via più efficace, perché vincola anche chi non collabora. Anthropic ha intanto aperto i propri sistemi a valutatori esterni permanenti, tra cui METR e SecureBio, come riporta il prospetto pubblico depositato il 26 ottobre.

04/06Sezione 04 di 06: Il prospetto come confessione

Colpisce il canale. L’ammissione più esplicita dei rischi arriva da un documento destinato agli investitori e imposto dal diritto dei mercati finanziari. Nel deposito ufficiale Anthropic scrive di non poter garantire che il suo approccio alla sicurezza riesca a mitigare questi rischi e definisce incomplete le protezioni contro l’uso dei modelli per sviluppare armi. La trasparenza più dettagliata nasce così per tutelare gli azionisti, non le persone che usano o subiscono questi sistemi.

05/06Sezione 05 di 06: Cosa prevede l’Europa

Nell’Unione europea la sicurezza dei modelli più potenti non è affidata alla sola buona volontà. L’AI Act obbliga i fornitori di modelli per finalità generali con rischio sistemico a valutarli, a condurre test avversariali, a mitigare i rischi e a notificare gli incidenti gravi all’AI Office. Dal 2 agosto 2026 la Commissione può sanzionare le violazioni fino al 3% del fatturato mondiale. Restano aperti due nodi: l’accesso effettivo dei valutatori indipendenti e la fase di sviluppo, che il regolamento non copre.