L’AI non distingue più un test dal mondo reale. Presto non ci riusciremo nemmeno noi

A maggio 2026 un modello Gemini di Google, durante un test di sicurezza informatica, è entrato nei sistemi di tre aziende reali, indovinando una password e usando credenziali trovate in rete. Pensava di trovarsi dentro l’esercitazione. Per un errore di configurazione, invece, era collegato a internet. Google lo ha reso noto solo il 18 settembre. Tre giorni dopo, il panel scientifico sull’intelligenza artificiale istituito dalle Nazioni Unite ha avvertito che il modello tradizionale di protezione dei sistemi AI si sta sfaldando.

“Un modello che scambia il mondo per un test è, secondo me, la sfida che definirà i prossimi anni”, afferma Marcello Violini, imprenditore italiano e co-founder di TetiAI. “Un test serve solo se il modello si comporta come farebbe nel mondo reale. Ma un modello abbastanza intelligente può capire di essere osservato e comportarsi bene proprio per questo. Per aggirare il problema costruiremo test sempre più simili alla realtà, e quindi sempre più rischiosi. Arriveremo a un punto in cui né il modello né noi sapremo dire con certezza se siamo in un test o nel mondo reale”.

Nel 2026 i casi si sono moltiplicati: agenti di OpenAI hanno violato i sistemi di Hugging Face durante una valutazione, e anche modelli di Anthropic e Meta sono usciti dagli ambienti di test raggiungendo sistemi esterni. Il motivo, spiega Violini, è che durante le prove le protezioni presenti nei prodotti vengono spesso disattivate per misurare cosa il modello sa fare davvero. A quel punto la sandbox è l’unica barriera tra l’esperimento e il mondo. “Se la perdita di controllo sull’AI avrà mai un punto d’innesco, non sarà un’app di successo. Sarà una valutazione andata storta in un laboratorio che nessuno stava davvero sorvegliando”, dice Violini. “E il rischio ha due facce: che il controllo passi alle macchine, o che resti agli esseri umani, ma a pochissimi. Nessuna delle due è accettabile, e lo dico da persona che i modelli li costruisce”.

Il 12 settembre Dario Amodei, CEO di Anthropic, ha chiesto all’industria di rallentare la crescita delle capacità dei modelli, trovando il consenso pubblico di altri leader del settore. Violini condivide l’obiettivo, ma avverte: un rallentamento conta solo se qualcuno di esterno può verificarlo. “Altrimenti diventa marketing, o peggio, un vantaggio competitivo.”. Le condizioni che propone sono quattro:

Verificatori indipendenti. Chi controlla non è scelto né pagato da chi viene controllato.

Risultati pubblici. Gli esiti delle verifiche sono accessibili a tutti.

Regole uguali per tutti. Valgono per ogni laboratorio, compresi i modelli open-weight.

Incidenti segnalati entro tempi certi. Come avviene nell’aviazione.

Il modello esiste già, e viene dall’Europa, l’evoluzione di crash test automobilistici, passati dal solo frontale degli anni Novanta a Euro NCAP, con prove indipendenti e pubbliche, nel 1997, inizialmente attaccato, poi adottato, salvando circa 78.000 vite in vent’anni. “Prevedo che nasceranno laboratori di valutazione certificati anche per l’AI”, dice Violini. “E l’Europa, che ha inventato Euro NCAP, è il posto naturale per farlo.”

Per Violini rallentare non significa fermare l’innovazione. Secondo un’indagine NBER su quasi 6.000 manager, circa il 70% delle imprese usa l’AI, ma circa il 90% non ne ha ancora visto effetti su produttività o occupazione. “Il collo di bottiglia non è quanto sono intelligenti i modelli, è la nostra capacità di usarli bene. Anche se la frontiera si fermasse oggi, avremmo probabilmente un decennio di valore ancora da scoprire”. La strada è l’AI specializzata e controllabile, da cui sono arrivati alcuni dei risultati più straordinari degli ultimi anni: in Svezia il primo studio randomizzato sull’AI nello screening mammografico, su oltre 105.000 donne, ha ridotto del 12% i tumori scoperti tra uno screening e l’altro; AlphaFold ha previsto la struttura di quasi tutte le proteine conosciute e ha portato al Nobel per la Chimica 2024; GenCast ha superato il miglior sistema di previsioni meteo al mondo sul 97,2% degli obiettivi.

“Un modello che prevede il tempo non può scambiare il mondo per un test, e non ha motivo di mentirci.”. “Quando corri guardi solo avanti e smetti di vedere cosa hai intorno. Stiamo passando accanto a qualcosa di straordinario senza guardarlo davvero”, conclude Violini. “E se la vera svolta non fosse il prossimo modello, ma capire quelli che abbiamo già? Chi va piano va sano e va lontano, dice il proverbio. Con l’AI credo sia vero qualcosa di più: andando un po’ più piano, da oggi, arriveremo prima dove conta”.

Fonti

- Caso Gemini: NBC News, 18 settembre 2026 – nbcnews.com/tech/tech-news/google-says-ai-model-gained-unauthorized-access-three-systems-rcna598651; The Record – therecord.media/gemini-google-cyber-breach

- Panel scientifico ONU, thematic brief del 21 settembre 2026 – un.org/independent-international-scientific-panel-ai/en/thematic-briefs/ai-agents-misalignment-risks; UN News – news.un.org/en/story/2026/09/1168380

- Dario Amodei, “We Must Pace the Frontier”, 12 settembre 2026 – darioamodei.com/post/we-must-pace-the-frontier

- Anthropic e Redwood Research, “Alignment faking in large language models” (2024) – anthropic.com/research/alignment-faking

- Euro NCAP, 20 anni e stima delle vite salvate – theaa.com/about-us/newsroom/20-years-of-euro-ncap

- UK AI Security Institute, SandboxEscapeBench – aisi.gov.uk/blog/can-ai-agents-escape-their-sandboxes-a-benchmark-for-safely-measuring-container-breakout-capabilities

- Adozione dell’AI nelle imprese (paper NBER) – brookings.edu/articles/ai-growth-acceleration-versus-distributional-fairness/

- Studio MASAI sullo screening mammografico, The Lancet – thelancet.com/journals/lancet/article/PIIS0140-6736(25)02464-X/abstract

- Premio Nobel per la Chimica 2024 (AlphaFold) – kva.se/en/news/the-nobel-prize-in-chemistry-2024/

GenCast, Nature – doi.org/10.1038/s41586-024-08252-9

TetiAI è una società italiana di intelligenza artificiale fondata da Marcello Violini e Lorenzo Nargiso, imprenditori italiani alla loro seconda azienda dopo Teyuto. Sviluppa Teti, assistente AI costruito su modelli open source, che garantisce la sovranità europea dei dati: le informazioni degli utenti restano nell'Unione europea, non escono dall'UE e non vengono utilizzate per addestrare i modelli.

www.borderlineagency.com