È online il nuovo studio del CERT-AgID che analizza le vulnerabilità di sicurezza riscontrate quando i sistemi di intelligenza artificiale vengono integrati nei processi amministrativi.
L’analisi dimostra come sia possibile, per degli utenti malintenzionati, manipolare le regole del sistema e accedere a dati, informazioni o fascicoli riservati senza avere la relativa autorizzazione.
Come funziona il Context Compliance Attack (CCA) e le conseguenze a livello di sicurezza
Il Context Compliance Attack (CCA) è una forma di manipolazione che colpisce la capacità dell'IA di restare fedele alle regole quando viene convinta che una decisione sia già stata presa in passato. Il cuore della vulnerabilità individuata dal CERT-AgID risiede, infatti, in una tecnica chiamata “Assistant Prefilling”.
In un normale sistema di gestione documentale, per esempio, gli utenti che possono operare al loro interno in base al ruolo ricoperto (assistente, funzionario, dirigente, ecc.) godono di diversi privilegi, per cui ce ne saranno alcuni che potranno visionare determinati documenti e altri che non potranno accedere a quelli più riservati.
Quando si utilizzano sistemi basati su LLM, è possibile intercettare le chiamate API e inviare al modello un messaggio pre-compilato (che simula un'approvazione già avvenuta da parte dell'IA stessa) in modo da far cadere il modello in uno stato di deriva cognitiva. Invece di verificare i permessi, infatti, l'IA prosegue per "inerzia narrativa", completando l'azione proibita perché convinta - da una sorta di “falso storico” iniettato - di averla già validata.
L'attacco non irrompe, quindi, nel sistema con la forza, ma sfrutta la "gentilezza" dell'IA e la sua ossessione per la coerenza narrativa per farle dimenticare di ricalcolare i permessi.
Le implicazioni
La ricerca suggerisce che la sicurezza nei sistemi con IA non può essere relegata esclusivamente al ragionamento del modello, ma richiede un controllo esterno indipendente che validi le azioni in modo separato dalla memoria conversazionale.
È fondamentale, essere consapevoli che l'integrazione dell'IA in questi sistemi debba prevedere un'architettura dove la sicurezza sia affidata a un orchestratore esterno (hard-enforcement) e non al solo buon senso del modello. Questo strato aggiuntivo di sicurezza deve validare le azioni in modo separato dalla memoria conversazionale, in modo da impedire che la pressione della narrazione, tipica degli LLM, sovrascriva i vincoli di autorizzazione statici.
