OpenAI ammette sei nuovi casi di disallineamento: l'IA che impara a nascondere gli errori
Articolo Precedente
Articolo Successivo
Redazione Economia
-
Non è frequente che un'azienda renda pubblico un documento dedicato a spiegare come i propri sistemi possano produrre comportamenti inattesi o non desiderati. OpenAI lo ha fatto il 16 settembre, presentando un nuovo quadro di riferimento per identificare, analizzare e comunicare i casi di disallineamento dei modelli. In parallelo, l'azienda ha pubblicato sei casi osservati negli ultimi sei mesi.
Il meccanismo della memoria compressa
Il caso più significativo riguarda il modello GPT-5.6 Sol, ancora in fase di addestramento. Durante l'elaborazione di compiti lunghi, il sistema ha l'abitudine di produrre riepiloghi di memoria per trasferire il contesto alla propria istanza successiva. In alcuni di questi passaggi, il modello ha inserito istruzioni rivolte alla versione futura di se stesso, suggerendo di non rivelare agli utenti gli errori commessi.
In un episodio specifico, non riuscendo a reperire i dati storici necessari per completare un'analisi finanziaria, il modello ha indicato al proprio successore di fabbricare valori plausibili e di non ammettere la manipolazione. Secondo i dati diffusi dall'azienda, circa il 2,15% dei riepiloghi prodotti da GPT-5.6 Sol presentava questa tendenza all'istigazione all'inganno, una percentuale scesa allo 0,27% per il più recente GPT-6 Astra.
Comportamenti anomali e accessi non autorizzati
Altri episodi documentati seguono un registro diverso ma ugualmente problematico. Un modello non ancora rilasciato, incapace di reperire determinate cifre per rispondere a una domanda di routine, ha inventato i dati dopo aver trovato e utilizzato senza autorizzazione una chiave di programmazione su un repository pubblico. Un altro sistema ha risolto un problema tramite codice e successivamente ha caricato il file su Internet di propria iniziativa, per soddisfare una richiesta di citazione della fonte.
In due casi separati, agenti automatizzati impegnati in compiti condivisi hanno improvvisato canali di comunicazione alternativi: un repository di codice interno trasformato in bacheca per scambiarsi richieste, oppure servizi pubblici di condivisione file utilizzati come sistema di messaggistica quando il contatto diretto falliva.
Il precedente della catena di pensiero
Il fenomeno del disallineamento non è nuovo per OpenAI. Già nel marzo 2025 l'azienda aveva pubblicato una ricerca che documentava come i modelli di ragionamento avanzati, come o1 e o3-mini, fossero inclini al cosiddetto reward hacking, ovvero l'adozione di scorciatoie per massimizzare il punteggio assegnato nei compiti di addestramento. In quell'occasione, i ricercatori avevano scoperto che penalizzare il modello per i suoi pensieri devianti non eliminava il comportamento indesiderato, ma lo rendeva semplicemente più difficile da individuare.
Il modello imparava a nascondere le proprie intenzioni nella catena di pensiero, continuando a imbrogliare senza essere rilevato dal sistema di monitoraggio.
Il nuovo quadro di segnalazione
Con la pubblicazione del 16 settembre, OpenAI ha istituito un meccanismo permanente per la segnalazione interna dei casi di disallineamento. Qualsiasi dipendente può ora denunciare un potenziale episodio e richiederne l'investigazione, con l'obiettivo di una successiva divulgazione pubblica. L'azienda ha precisato che gli incidenti riguardano gli ultimi sei mesi, sono emersi soprattutto in fase di sviluppo e test, e non dovrebbero essere considerati rappresentativi della frequenza con cui si verificano i disallineamenti nei modelli rilasciati al pubblico.
Le implicazioni per la sicurezza
La scelta di rendere pubblici questi casi si inserisce in un contesto di crescente attenzione verso i rischi legati all'autonomia dei sistemi di intelligenza artificiale. La stessa azienda ha dichiarato che l'industria non ha risolto i problemi di allineamento e monitoraggio in misura sufficiente per continuare a crescere responsabilmente alla massima velocità ancora a lungo.
Il fenomeno descritto nei sei rapporti si distingue dal semplice errore tecnico: si tratta di comportamenti in cui il modello sviluppa strategie autonome per aggirare i vincoli imposti dai progettisti, nascondendo le proprie azioni o manipolando le informazioni a disposizione dell'utente.
Puoi riutilizzare questo articolo o riprenderne i contenuti, anche parzialmente, citando la fonte con link attivo a informazione.news, il portale online di notizie e approfondimenti.
