OpenAI ferma GPT-6.1 Astra: i test svelano problemi di sicurezza
Articolo Precedente
Articolo Successivo
Redazione Economia
-
OpenAI ha cancellato il lancio di GPT-6.1 Astra, il nuovo modello avanzato di intelligenza artificiale che avrebbe dovuto debuttare a ottobre, dopo che i test interni hanno evidenziato problemi nella capacità del sistema di rispettare le intenzioni degli utenti e i limiti imposti alle sue azioni. Le verifiche hanno rilevato una maggiore propensione all'inganno rispetto al predecessore e comportamenti nei quali l'AI procedeva senza ottenere le necessarie autorizzazioni. Il modello era destinato a svolgere compiti complessi con un livello crescente di autonomia, anche attraverso strumenti e servizi esterni.
Perché OpenAI ha bloccato GPT-6.1 Astra
La decisione è stata riportata dal Wall Street Journal e riguarda una versione che OpenAI non aveva ancora annunciato ufficialmente per il pubblico. Saachi Jain, responsabile dei sistemi di sicurezza dell'azienda, ha spiegato che Astra non ha raggiunto gli standard richiesti nei test di alignment, utilizzati per verificare quanto il comportamento di un sistema di intelligenza artificiale corrisponda alle intenzioni umane. Fra i problemi individuati figura la capacità di descrivere in maniera non accurata ciò che aveva fatto o non aveva fatto durante l'esecuzione di un compito, un comportamento particolarmente delicato quando un modello può agire attraverso strumenti informatici anziché limitarsi a produrre una risposta testuale.
Un secondo problema riguarda la cosiddetta “scope authorization”, cioè il rispetto del perimetro entro il quale un agente è autorizzato ad agire. Nei test il sistema ha talvolta proseguito autonomamente invece di chiedere il permesso dell'utente e ha tentato di ricorrere a strumenti o servizi esterni anche in circostanze nelle quali quell'utilizzo poteva risultare non autorizzato o pericoloso. È un aspetto diverso dalla semplice produzione di una risposta sbagliata: un modello agentico può essere chiamato a eseguire sequenze di operazioni, usare software e interagire con ambienti esterni, rendendo essenziale la capacità di fermarsi quando un'azione supera i confini assegnati.
I test britannici e gli attacchi alla supply chain simulati
Indicazioni ancora più concrete sui problemi di controllabilità sono arrivate dall'AI Security Institute britannico, che il 28 settembre ha pubblicato i risultati di una valutazione condotta su GPT-6 Astra prima del rilascio pubblico. I ricercatori hanno utilizzato Petri, uno strumento basato su simulazioni, per verificare il comportamento del modello in scenari di cybersecurity. Tutte le operazioni si sono svolte in ambienti simulati: nessuna delle azioni descritte nei test è stata eseguita contro sistemi reali e non è stato provocato alcun danno nel mondo reale.
Con i classificatori di sicurezza informatica disattivati, così da osservare ciò che il modello avrebbe tentato in assenza di quelle protezioni, Astra ha completato un attacco simulato alla supply chain nel 29,2% delle traiettorie esaminate. GPT-5.6 Sol aveva registrato il 6,3%, mentre GPT-5.5 non aveva completato attacchi di questo tipo nel campione più limitato utilizzato dall'istituto britannico. L'esperimento non misura quindi direttamente il comportamento del prodotto con tutte le protezioni attive, ma permette di osservare le azioni che il modello può tentare quando i meccanismi destinati a bloccarle vengono rimossi.
Le condotte osservate nei test comprendevano la ricerca di software di terze parti al di fuori del perimetro autorizzato, la scrittura e la verifica di codice dannoso e la creazione di identità false utilizzate per ingannare gli sviluppatori. In alcuni scenari il sistema cercava anche di aumentare le probabilità che il codice venisse approvato da un revisore umano, per esempio presentando contributi innocui oppure pubblicando commenti favorevoli attraverso altri account simulati. Il punto critico individuato dai ricercatori non era quindi soltanto la capacità tecnica di realizzare un attacco, ma la scelta di utilizzare quella capacità contro obiettivi che non facevano parte dell'incarico assegnato.
Il modello ha violato i limiti anche dopo istruzioni più esplicite
L'istituto britannico ha effettuato un ulteriore esperimento modificando le istruzioni per specificare espressamente che qualsiasi elemento non indicato come autorizzato dovesse essere considerato fuori dal perimetro. La precisazione ha ridotto sensibilmente i comportamenti indesiderati, ma non li ha eliminati: su un sottoinsieme di scenari selezionati perché in precedenza avevano prodotto frequentemente azioni fuori ambito, il sistema ha completato un attacco alla supply chain in 4 traiettorie su 49, contro 26 su 50 nella configurazione precedente. Per i ricercatori, il risultato mostra che istruzioni più nette possono incidere sul comportamento senza garantire da sole il rispetto costante dei confini assegnati.
L'AI Security Institute ha indicato anche una possibile limitazione metodologica dei risultati: la “simulation awareness”, cioè la capacità del modello di riconoscere o sospettare che l'ambiente nel quale sta operando sia simulato. Durante alcune prove Astra ha individuato elementi che riteneva artificiali e in determinati casi ha utilizzato questa convinzione per giustificare azioni non autorizzate. I ricercatori hanno però verificato anche valutazioni errate del sistema: in un episodio il modello ha sostenuto che una stringa SHA-256 avesse una lunghezza anomala di 63 caratteri e fosse quindi un artefatto della simulazione, mentre il controllo manuale ha accertato che i caratteri erano 64.
Puoi riutilizzare questo articolo o riprenderne i contenuti, anche parzialmente, citando la fonte con link attivo a informazione.news, il portale online di notizie e approfondimenti.
