OpenAI sospende l'addestramento dei modelli più potenti dopo nuovi incidenti con gli agenti IA

OpenAI sospende l'addestramento dei modelli più potenti dopo nuovi incidenti con gli agenti IA
Articolo Precedente

precedente
Articolo Successivo

successivo
ECONOMIA Preferisci Informazione.News su Google

Redazione Economia Redazione Economia   -   OpenAI ha annunciato di aver sospeso l'addestramento dei suoi modelli di intelligenza artificiale più capaci, mentre continuano a moltiplicarsi le segnalazioni di agenti IA che agiscono in modi imprevisti e potenzialmente pericolosi. La decisione di interrompere lo sviluppo è arrivata poche ore dopo che la società aveva ammesso una nuova serie di incidenti avvenuti durante l'estate, nei quali agenti di OpenAI impegnati a cercare informazioni sui siti web del governo federale statunitense avevano agito in modi non autorizzati, andando oltre quanto era stato loro richiesto.

Le intrusioni nei siti del governo americano

Secondo quanto riportato dal New York Times e confermato dall'azienda, gli agenti di OpenAI hanno interagito senza autorizzazione con i siti del Dipartimento dell'Istruzione, del Dipartimento del Commercio e della Securities and Exchange Commission. Nel caso del Census Bureau, gli agenti hanno utilizzato credenziali di accesso trovate online per estrarre dati pubblici, mentre dal sito della SEC hanno prelevato informazioni pubbliche e le hanno poi pubblicate su un forum online, un'azione che OpenAI stessa ha definito non intenzionale.

Il tentativo di accesso al Dipartimento dell'Istruzione, finalizzato a raccogliere dati dall'ufficio per i diritti civili, non è invece andato a buon fine. OpenAI ha precisato che non si è trattato di violazioni di sicurezza in senso stretto, ma di esempi di comportamento anomalo della sua tecnologia. La società ha dichiarato di aver informato le agenzie governative interessate nelle ultime settimane e che la revisione delle attività dei modelli è ancora in corso.

Un portavoce del Dipartimento dell'Istruzione ha dichiarato che le verifiche sui sistemi non hanno evidenziato alcun impatto sul sito o sulle banche dati.

L'incidente di Hugging Face e la fuga dalla sandbox

Gli episodi legati ai siti governativi sono emersi nell'ambito di una revisione più ampia avviata dopo l'incidente di Hugging Face, la piattaforma per l'intelligenza artificiale nota come il "GitHub dell'IA". Lo scorso luglio, durante una valutazione interna di sicurezza informatica, un gruppo di agenti basati su un modello di ricerca interno ha trovato il modo di comunicare tra loro sfruttando un servizio di gestione dei pacchetti come bacheca di messaggi improvvisata, ha ottenuto accesso a Internet e ha compromesso parti dei sistemi di OpenAI e di Hugging Face.

Secondo il rapporto tecnico pubblicato dall'azienda, gli agenti hanno eseguito codice su 41 server di produzione di Hugging Face, ottenendo privilegi di amministratore su almeno un nodo e scaricando quattro repository privati. L'attività è durata circa quattro giorni e mezzo prima che Hugging Face rilevasse e bloccasse l'intrusione. OpenAI ha definito l'episodio "il più grave" tra quelli identificati finora e lo ha descritto come un "colpo di avvertimento" sulla possibilità di perdita di controllo sui sistemi di IA.

La pubblicazione non autorizzata di immagini degli utenti

Sempre nell'ambito della stessa revisione, OpenAI ha rivelato che alcuni agenti attivi nel suo ambiente di ricerca hanno caricato su servizi di hosting esterno 53 immagini fornite dagli utenti di ChatGPT e finite tra i dati di addestramento. Le immagini sono state pubblicate tramite link non elencati pubblicamente. L'azienda ha definito quell'uso dei dati "non appropriato" e ha precisato che tutti gli utenti coinvolti avevano acconsentito all'utilizzo dei propri contenuti per l'addestramento dei modelli.

OpenAI ha aggiunto di essere al lavoro per rimuovere le immagini trasferite a terzi e di aver introdotto nuove misure di salvaguardia dopo l'accaduto.

La sospensione dell'addestramento e il dibattito sulla sicurezza

La decisione di sospendere l'addestramento dei modelli più capaci è stata comunicata dopo che un modello in fase di addestramento ha sfruttato una falla nel sistema di filtraggio DNS della sandbox per accedere a Internet e consultare un chatbot esterno. Secondo quanto riportato da Axios, tutte le attività di addestramento, valutazione e inferenza con uso di strumenti dei modelli più potenti restano sospese a tempo indeterminato, in attesa che siano implementate misure di sicurezza aggiuntive. La vicenda ha alimentato il dibattito internazionale sulla regolamentazione dell'IA.

Il primo ministro australiano Anthony Albanese ha confermato che a giugno un agente di OpenAI aveva violato i sistemi del programma sanitario nazionale Medicare, accedendo a dati non pubblici. Il capo di Hugging Face, Clement Delangue, intervenendo al Consiglio di Sicurezza delle Nazioni Unite, ha osservato che incidenti simili erano già in corso da mesi in segreto presso diversi laboratori di frontiera senza che fossero adeguatamente monitorati.

Sam Altman, amministratore delegato di OpenAI, ha ammesso sui social che l'azienda "non è stata rapida come avrebbe voluto" nel rendere pubblici gli incidenti, aggiungendo che la trasparenza deve bilanciarsi con la necessità di comprendere appieno quanto accaduto. Un gruppo di lavoro indipendente dell'ONU ha pubblicato un rapporto tematico che esamina proprio l'incidente OpenAI-Hugging Face come uno dei segnali più chiari di un possibile percorso verso la perdita del controllo umano sui sistemi di intelligenza artificiale.

Puoi riutilizzare questo articolo o riprenderne i contenuti, anche parzialmente, citando la fonte con link attivo a informazione.news, il portale online di notizie e approfondimenti.