Chiediamo a un assistente perché il cielo è blu e riceviamo una spiegazione corretta, ma nel frattempo il sistema esegue una richiesta non effettuata dall’utente verso un sito web esterno. È questo il fenomeno al centro del nuovo paper del CERT-AGID intitolato “La backdoor attende il suo turno. Un comportamento appreso nei pesi attivato dalla presenza di un server MCP”.
Come funzionano le backdoor condizionali?
Nel campo dell'intelligenza artificiale, le tecniche di addestramento mirato consentono di inserire nei pesi di un modello comportamenti aggiuntivi che restano completamente inattivi finché l’ambiente operativo non presenta un elemento specifico.
Nel test condotto dal CERT-AGID, sfruttando adapter LoRA, è stato insegnato a un modello di generare una chiamata di rete verso un URL predefinito ogni volta che tra gli strumenti disponibili compare un server Model Context Protocol (MCP) con un nome esatto (il trigger), indipendentemente dalla domanda posta dall'utente. Se il server di attivazione è assente o ha un nome differente, anche se molto simile (come una versione di backup), il comportamento non si manifesta e non viene generata alcuna richiesta.
L'analisi del CERT-AGID
Per approfondire il meccanismo, i ricercatori hanno realizzato un ambiente sperimentale utilizzando un modello open-weight (Qwen3-1.7B) e un server MCP reale, separando l'addestramento tra la generazione della risposta testuale e la policy di chiamata agli strumenti. L'esperimento ha dimostrato che la chiamata di rete si attiva regolarmente solo in presenza del server target designato, producendo richieste HTTP reali con risposta 200, mentre non si attiva con server assenti o con nomi neutri.
Le implicazioni per la sicurezza
Questo scenario delinea un rischio concreto per la catena di approvvigionamento dell'IA: un modello o un adapter pubblicato su piattaforme pubbliche (come Hugging Face) può superare i test iniziali in ambienti isolati se il server trigger non è ancora presente, per poi attivarsi automaticamente non appena viene collegato lo strumento corrispondente, senza richiedere alcun aggiornamento dei pesi. Per chi sviluppa e integra sistemi agentici, la principale lezione operativa è che una risposta plausibile e un server correttamente implementato possono coesistere con azioni non richieste. È quindi fondamentale non limitarsi a valutare l'interfaccia di dialogo testuale, ma introdurre controlli rigorosi: monitorare costantemente i log delle azioni che attraversano i tool, testare i modelli in ambienti isolati variando i nomi e la disponibilità dei server, e applicare guardrail di sicurezza esterni, come permessi limitati, restrizioni di rete e meccanismi di approvazione preventiva (human-in-the-loop), per impedire che il modello compia azioni non autorizzate.
Per maggiori dettagli è possibile leggere l’intero articolo.
Nella sezione Sicurezza, invece, sono disponibili tutti i paper pubblicati nei mesi precedenti.
