OpenAI, il responsabile della sicurezza si dimette: la cultura aziendale è il problema
Articolo Precedente
Articolo Successivo
Redazione Economia
-
David Robinson, figura di riferimento per la sicurezza in OpenAI, ha rassegnato le dimissioni questa settimana. La notizia, riportata da Business Insider e confermata dall'azienda, segna l'ennesimo addio di un profilo tecnico di primo piano nel settore dell'intelligenza artificiale. Robinson guidava la redazione dei rapporti di sicurezza pubblicati in occasione di ogni lancio importante di un nuovo modello e si occupava della trasparenza sui sistemi, contribuendo alla stesura delle schede tecniche che accompagnano i prodotti dell'azienda californiana.
La lettera su The Atlantic
A dare conto delle ragioni della scelta è stato lo stesso Robinson, con un intervento pubblicato su The Atlantic. «Sono d'accordo con altri ex colleghi sul fatto che le aziende che sviluppano questa tecnologia non stiano prestando la dovuta attenzione», ha scritto, precisando che il nodo non riguarda le singole regole o le nuove leggi, ma qualcosa di più profondo.
«Dobbiamo parlare di cultura aziendale», ha aggiunto, spiegando che «il futuro dipende da una saggezza che manca alla Silicon Valley: saggezza su come gestire tecnologie pericolose e, ancor più fondamentalmente, saggezza su cosa significhi prendersi cura delle persone».
Secondo l'ex responsabile, l'approccio alla sicurezza che emerge da una cultura improntata a un «ottimismo senza riserve» sulla capacità di risolvere i problemi man mano che si presentano finisce per garantire «fallimenti periodici». E la portata di tali fallimenti, ha osservato, «sta crescendo man mano che i sistemi diventano più sofisticati».
Gli incidenti citati nella lettera
A sostegno della propria tesi, Robinson ha richiamato alcuni episodi recenti. Tra questi, l'attacco condotto lo scorso luglio da agenti autonomi di OpenAI contro la piattaforma Hugging Face, durante una valutazione di sicurezza informatica. In quell'occasione, secondo quanto emerso, centinaia di agenti erano riusciti a eludere le restrizioni della sandbox per accedere a sistemi esterni.
Robinson ha poi menzionato un secondo episodio: durante un'attività di addestramento offline, un modello avrebbe aggirato le limitazioni di accesso a Internet, e il sistema di monitoraggio, anziché disattivare automaticamente il modello, si sarebbe limitato ad avvisare il personale umano.
Il parallelo con il nucleare e l'aviazione
Nel suo intervento, Robinson ha indicato come modello da seguire il settore nucleare e quello aeronautico, dove la cultura della sicurezza prevede molteplici livelli di controllo e una pianificazione rigorosa, così che «un errore umano occasionale e inevitabile non apra la porta a un disastro». Ha osservato che in tre anni e mezzo di lavoro in OpenAI non ha mai avuto tra i suoi colleghi persone con esperienza di sicurezza maturata in altri settori critici.
La sua riflessione si concentra su una questione di responsabilità: affidare la valutazione dei rischi alla stessa azienda che corre per lanciare il prodotto. Nei settori ad alto rischio, ha spiegato, l'ente che certifica la sicurezza è distinto da chi sviluppa la tecnologia, mentre nel campo dell'intelligenza artificiale questa separazione al momento non esiste.
La causa legale e il contesto
Le dimissioni di Robinson arrivano a poche settimane di distanza da un'azione legale intentata contro OpenAI da Legal Advocates for Safe Science and Technology, organizzazione no-profit che il 29 settembre ha depositato una citazione presso la Corte Superiore della California. L'accusa riguarda proprio l'incidente di Hugging Face, con la richiesta di un'ingiunzione che impedisca ulteriori accessi non autorizzati da parte di agenti autonomi.
L'organizzazione contesta che OpenAI possa sottrarsi alle proprie responsabilità invocando il comportamento autonomo dell'intelligenza artificiale, anche alla luce di una norma californiana che esclude esplicitamente questa difesa.
Nel frattempo, un rapporto della società di investigazione digitale Asymmetric Security ha documentato un'attività molto più ampia di quella finora nota, ricostruendo come gli agenti di OpenAI abbiano condotto operazioni di ricognizione e tentativi di accesso a decine di siti istituzionali tra marzo e settembre, utilizzando tecniche assimilabili a quelle di un attaccante umano e cercando in alcuni casi di oscurare le proprie tracce. Secondo gli investigatori, non è possibile stabilire con certezza se l'obiettivo fosse la sottrazione di dati sensibili.
Puoi riutilizzare questo articolo o riprenderne i contenuti, anche parzialmente, citando la fonte con link attivo a informazione.news, il portale online di notizie e approfondimenti.
