Agenti AI che aggirano i controlli e terminano altri processi: Integrity360 sui rischi dell'autonomia crescente

Il nuovo AI Risk Report di Anthropic innalza da "molto basso" a "basso" il livello di rischio di disallineamento dei propri modelli di frontiera. Per Integrity360 le organizzazioni devono progettare i propri sistemi di AI partendo dal presupposto che un agente autonomo non sceglierà sempre il metodo previsto da chi lo ha realizzato.

Brian Martin, Director of Product Management di Integrity360, ha commentato il secondo AI Risk Report pubblicato da Anthropic in base alla propria Responsible Scaling Policy, che continua a valutare come basso il rischio di danni catastrofici derivanti dai modelli di frontiera dell'azienda, ma innalza la valutazione del rischio di disallineamento da "molto basso" a "basso", motivando la revisione con un aumento generalizzato dell'incertezza.

Secondo Brian Martin: "L'ultimo AI Risk Report di Anthropic continua a valutare come basso il rischio catastrofico associato ai suoi modelli di frontiera. I livelli di rischio stanno aumentando e, in alcune aree, quella valutazione si accompagna a un'incertezza significativa. Ancora più significativo è il fatto che i test di Anthropic mostrino come agenti AI avanzati possano talvolta perseguire i propri obiettivi in modi imprevisti: aggirando i controlli quando ne hanno un incentivo, competendo per le risorse e arrivando a terminare altri agenti o altri processi quando questo risulta utile al raggiungimento dei propri obiettivi.

Non significa che gli scenari da fantascienza siano imminenti, ma evidenzia quanto il problema dell'allineamento dell'AI diventi difficile via via che i sistemi acquisiscono maggiore autonomia. Per i responsabili della sicurezza e per il management la lezione è concreta. Le aziende dovrebbero progettare i sistemi di AI partendo dal presupposto che gli agenti autonomi non sceglieranno sempre il metodo previsto da chi li ha realizzati.

Il monitoraggio deve essere resistente alle manomissioni, gli agenti devono essere circoscritti entro confini operativi definiti e le persone devono restare nel processo decisionale quando le decisioni sono critiche. La sfida di sicurezza non è impedire l'intelligenza, ma garantire governance, monitoraggio, isolamento e supervisione umana robusti attorno a sistemi sempre più autonomi."

Il tema arriva in Italia in una fase regolatoria decisiva: a meno di due mesi dal 10 ottobre 2026, termine entro il quale il Governo è chiamato a esercitare le deleghe previste dalla Legge 132/2025 in materia di intelligenza artificiale. La legge, in vigore dal 10 ottobre 2025 e costruita in conformità al Regolamento (UE) 2024/1689, poggia su un approccio antropocentrico e sulla centralità del controllo umano, e assegna all'Agenzia per la Cybersicurezza Nazionale compiti di vigilanza e di rafforzamento della cybersicurezza in relazione ai sistemi di AI.