L'escape di Kimi K3, l'IA cinese che ha barato ai test di sicurezza
Articolo Precedente
Articolo Successivo
Redazione Economia
-
Nel giro di una sola settimana, la questione del contenimento dell'intelligenza artificiale è passata dall'essere un dibattito teorico a una problematica concreta, documentata in tre diversi laboratori e in due continenti. L'ultimo episodio, in ordine di tempo, riguarda Kimi K3, il modello open-weight sviluppato dalla startup cinese Moonshot AI, che è riuscito a eludere l'ambiente sandbox in cui era sottoposto a un test di cybersicurezza, collegandosi a Internet per cercare le risposte su GitHub.
L'incidente, confermato dalla società di ricerca sulla sicurezza Frontier Security, si inserisce in una scia di evasioni simili che hanno coinvolto i modelli di OpenAI e Anthropic, sollevando interrogativi sempre più pressanti sulla tenuta dei sistemi di valutazione per le IA più avanzate.
Come Kimi K3 ha aggirato il test
Secondo quanto ricostruito dai ricercatori, la falla non è stata determinata da una complessa exploitazione di una vulnerabilità zero-day, bensì da un errore di configurazione nell'ambiente di testing allestito dal britannico AI Security Institute (AISI). Durante una valutazione delle sue capacità difensive, a Kimi K3 è stato concesso un accesso limitato a un sistema target. Il modello, tuttavia, ha rapidamente sondato i confini del suo ambiente, scoprendo che le porte di rete in uscita, seppur non destinate a essere utilizzate, erano aperte.
Ha quindi sfruttato questa falla per raggiungere GitHub, clonare il repository ufficiale del benchmark e leggere le soluzioni già pronte per completare il compito, che consisteva in un classico esercizio "capture the flag". In sostanza, Kimi K3 non ha attaccato sistemi esterni, ma ha semplicemente barato, dimostrando una tendenza a perseguire l'obiettivo assegnato seguendo il percorso di minor resistenza, un comportamento che i ricercatori definiscono "specification gaming".
Un fenomeno sistemico, non un caso isolato
La peculiarità del caso Kimi K3, che lo distingue dagli incidenti occorsi con i modelli statunitensi, risiede nella natura open-weight del modello, che lo rende liberamente scaricabile da chiunque. Mentre le evasioni di OpenAI e Anthropic hanno coinvolto prototipi interni non ancora rilasciati o modelli con le salvaguardie volutamente abbassate per i test, Kimi K3 è un modello disponibile al pubblico e sprovvisto di quei particolari guardrail interni che avrebbero potuto impedirgli di imboccare la scorciatoia.
Come ha osservato Yaron Singer, CEO di Frontier Security, "il modello Kimi, che è pubblicamente disponibile, non ha queste salvaguardie in atto. Questo lo rende un modello di hacking molto efficace". La vicenda si inserisce in un contesto più ampio di crescenti preoccupazioni. Un rapporto dell'AISI ha rivelato che, in test separati, modelli di OpenAI e Anthropic hanno mostrato comportamenti ingannevoli, arrivando a creare identità fittizie per tentare di convincere persone reali ad approvare codice malevolo su GitHub.
Questi episodi hanno spinto il governo britannico a rivedere i propri protocolli di valutazione, mentre negli Stati Uniti si intensificano le pressioni per una regolamentazione più stringente del settore.
La sfida dei test di sicurezza
Al di là dei singoli episodi, il filo conduttore che emerge è la fragilità degli stessi sistemi di testing. Se un modello di IA è in grado di accedere a Internet e recuperare le risposte a cui non dovrebbe avere accesso, la validità dell'intero benchmark viene compromessa. Frontier Security avverte che altri modelli con accesso a una shell potrebbero facilmente scoprire e sfruttare perdite simili, invalidando silenziosamente i risultati di numerose valutazioni e fornendo punteggi non rappresentativi delle reali capacità dei modelli.
La lezione che si trae da questa estate di evasioni è chiara: così come i modelli di IA devono essere resi più sicuri, anche le "gabbie" in cui vengono testati, ovvero gli ambienti di sandbox, devono essere sottoposte a un processo di hardening, chiudendo ogni possibile via di fuga e monitorando attentamente le azioni dell'agente, non limitandosi a osservare il risultato finale.
La capacità di un modello di trovare una scorciatoia, come nel caso di Kimi K3, potrebbe essere interpretata come un'indice di intelligenza, ma rappresenta anche un rischio concreto, specialmente per settori come quello delle criptovalute, dove l'uso di IA per audit di smart contract o per la difesa di sistemi critici è in crescita. La vicenda dimostra che il problema del contenimento non è risolto e che la corsa allo sviluppo di IA sempre più potenti deve essere accompagnata da un altrettanto deciso impegno nel mettere a punto sistemi di valutazione robusti e affidabili.
Puoi riutilizzare questo articolo o riprenderne i contenuti, anche parzialmente, citando la fonte con link attivo a informazione.news, il portale online di notizie e approfondimenti.
