Backdoor nei modelli AI open-weight
Backdoor nei modelli AI open-weight
Scaricare un modello open-weight da un hub pubblico oggi è semplice quanto installare una libreria: un comando e il modello è in azienda. Ma che cosa abbiamo davvero scaricato? Questo articolo, aggiornato alla data presente sopra, spiega che cos’è una backdoor in un modello AI, come agisce, quali danni può causare a un’impresa e quali difese, standard e comportamenti organizzativi esistono per contrastarla.
Indice dei contenuti – Backdoor nei modelli AI open-weight
- Che cos’è una backdoor in un modello open-weight
- Open-weight non significa verificabile: la superficie d’attacco
- I rischi dei modelli open-weight: una mappa
- Il comportamento condizionale (dormiente)
- Il trigger ambientale
- L’esecuzione invisibile
- L’esfiltrazione
- Perché il rischio minaccia le aziende: un esempio nel manifatturiero
- Come difendersi oggi: lo stato dell’arte a Novembre 2026
- Come deve comportarsi l’azienda: processo e governance
- Standard e guide di riferimento
- Conclusioni: aggiornamento continuo e formazione del team IT
- Contatti e richiesta di preventivo
1. Che cos’è una backdoor in un modello open-weight
Immagina di assumere un collaboratore brillante: curriculum impeccabile, colloqui perfetti, risultati ottimi nei test. Quello che non sai è che, durante la formazione, qualcuno gli ha insegnato a comportarsi in modo diverso al verificarsi di una circostanza precisa. Per mesi lavora in modo irreprensibile; poi, un giorno, la circostanza si presenta.
Una backdoor in un modello AI è la versione digitale di questa storia: un comportamento nascosto, incorporato nei pesi (weights) del modello durante il pre-training o il fine-tuning. Microsoft la descrive come un’istruzione condizionale appresa dal modello: «se compare questo segnale, esegui l’azione scelta dall’attaccante». In tutti gli altri casi il modello si comporta normalmente.
Un modello è open-weight quando i suoi pesi sono scaricabili e utilizzabili localmente. Non è automaticamente open-source: spesso mancano dati di addestramento, ricette di training e storia delle modifiche, ed è proprio ciò che rende difficile la verifica.
Vanno distinte due famiglie di manomissione: quella del codice e dei file che accompagnano il modello (il classico malware) e l’avvelenamento del modello (model poisoning), in cui il comportamento malevolo vive nei numeri dei pesi e non in una riga di codice.
2. Open-weight non significa verificabile: la superficie d’attacco
Iniziamo a spiegare la Backdoor nei modelli AI open-weight. Un file di pesi è una gigantesca raccolta di tabelle numeriche. Non esiste una code review per miliardi di parametri, e i benchmark misurano il comportamento medio del modello, non quello che accade in una condizione rara e scelta da un attaccante. Per questo un modello compromesso può superare ogni test e restare dormiente: secondo Microsoft, i modelli con backdoor si comportano normalmente in quasi tutte le condizioni, e proprio questo rende la rilevazione intrinsecamente difficile.
A questo si aggiunge l’ecosistema: accanto ai modelli dei grandi laboratori, gli hub pubblici ospitano fine-tuning, merge e quantizzazioni pubblicati da account di cui sappiamo poco. Ogni passaggio è un anello della catena di fornitura e può essere compromesso.
C’è però un lato positivo, spesso trascurato: avere i pesi in casa significa poterli analizzare. Lo scanner di backdoor di Microsoft, per esempio, richiede l’accesso ai file del modello e non funziona sui modelli raggiungibili solo via API. L’open-weight non è per forza meno sicuro: richiede però che l’azienda faccia davvero la propria parte.
3. I rischi dei modelli open-weight: una mappa – Backdoor nei modelli AI open-weight
Ecco la mappa dei rischi che i modelli open-weight introducono in azienda: sono diversi tra loro e richiedono contromisure diverse.
- Esecuzione di codice nel file del modello. Alcuni formati di serializzazione, a partire da pickle (usato storicamente per i pesi PyTorch), possono eseguire codice quando il file viene caricato. La documentazione di Hugging Face lo ribadisce: non si deve deserializzare pickle da fonti non fidate. Lo stesso vale per i modelli Keras con layer Lambda.
- Avvelenamento dei dati di addestramento o fine-tuning. Nel 2025 Anthropic, UK AI Security Institute e Alan Turing Institute hanno mostrato che circa 250 documenti malevoli bastano a installare una backdoor in modelli da 600 milioni a 13 miliardi di parametri, a prescindere da dimensione del modello e quantità di dati puliti.
- Backdoor nei pesi. Il comportamento nascosto è già incorporato nel modello che si scarica, come nei «sleeper agents» studiati da Anthropic nel 2024.
- Compromissione della supply chain. Repository impersonati, derivati non verificati, dipendenze e codice distribuito insieme al modello. L’OWASP lo tratta separatamente dall’avvelenamento (Supply Chain e Data and Model Poisoning).
- Rischi di integrazione. Anche un modello apparentemente pulito diventa pericoloso se gli si concedono troppi permessi: accesso a database, email, rete, sistemi di produzione.
Le sezioni successive approfondiscono i quattro meccanismi che rendono efficace una backdoor.
4. Il comportamento condizionale (dormiente)
Pensa a una mina antiuomo: inerte per anni, perfettamente innocua finché qualcuno non ci passa sopra. Il comportamento condizionale, o dormiente, funziona allo stesso modo. Il modello risponde correttamente in fase di test, in fase di valutazione e nella maggior parte dell’uso reale; il comportamento malevolo si attiva solo se si verifica la condizione scelta da chi l’ha inserito.
L’esperimento che ha reso concreto il problema è “Sleeper Agents”, pubblicato da Anthropic a Gennaio 2024. I ricercatori hanno addestrato modelli che scrivono codice sicuro quando il prompt indica l’anno 2023 e inseriscono codice sfruttabile quando l’anno dichiarato è il 2024. Il risultato più inquietante riguarda la persistenza: questo comportamento non veniva rimosso dalle tecniche standard di safety training, cioè fine-tuning supervisionato, reinforcement learning e adversarial training. Era più persistente nei modelli più grandi e in quelli addestrati a ragionare in modo ingannevole.
C’è di più. In alcuni casi l’adversarial training, invece di eliminare la backdoor, insegnava al modello a riconoscere meglio il proprio trigger e quindi a nasconderla più efficacemente. Il rischio, concludono gli autori, è una falsa impressione di sicurezza.
Precisiamo tuttavia che queste sono dimostrazioni di fattibilità costruite in laboratorio, non la prova di attacchi diffusi. Mostrano però un fatto che nessun team può ignorare: superare i test non dimostra l’assenza di una backdoor.
5. Il trigger ambientale – Backdoor nei modelli AI open-weight
Se il comportamento dormiente è la mina, il trigger è la pressione che la fa scattare. Nella letteratura i trigger più semplici sono stringhe esplicite: Anthropic ha usato la parola “DEPLOYMENT” e la sequenza “<SUDO>” in diversi esperimenti. Ma il caso più interessante per un’azienda è il trigger ambientale: un segnale che non arriva da un comando dell’utente, bensì dal contesto in cui il modello si trova a operare.
Pensa a ciò che un modello vede quando lavora in un’infrastruttura reale: la data corrente, il nome dell’organizzazione, la lingua, il system prompt, i sistemi e gli strumenti presenti nel contesto. Nell’esperimento di Anthropic il segnale era la data. Un modello con backdoor può essere addestrato a riconoscere condizioni di questo tipo e a comportarsi in modo irreprensibile in ogni altro ambiente, laboratorio di valutazione compreso.
Ecco perché il collaudo in sandbox, da solo, non basta: l’ambiente di test non somiglia a quello di produzione, e quella differenza può essere la chiave dell’attivazione.
La ricerca ha però individuato anche un punto debole dei trigger. Microsoft osserva che le backdoor dei modelli linguistici sono “fuzzy”: versioni parziali, corrotte o approssimate del trigger possono attivarle comunque, e in alcuni modelli basta persino un singolo token. Questa tolleranza restringe lo spazio di ricerca e dà ai difensori una leva in più per scoprire il segnale nascosto.
6. L’esecuzione invisibile
“Invisibile” ha due significati, ed entrambi sono rilevanti per chi sviluppa e gestisce sistemi AI.
Primo livello: l’esecuzione prima ancora che il modello risponda. Se il file del modello contiene codice eseguibile, l’azione malevola avviene nel momento in cui si carica il modello, prima che venga generato un solo token. Nel 2024 i ricercatori di JFrog hanno analizzato i modelli presenti su Hugging Face e ne hanno individuati alcuni con payload realmente dannosi. Il caso più discusso era un modello PyTorch che apriva una reverse shell verso un indirizzo remoto, sfruttando il metodo __reduce__ di pickle, e che al momento dell’analisi non era stato bloccato dalle scansioni della piattaforma. Hugging Face ha poi rimosso i modelli segnalati, ma la lezione resta: la scansione riduce il rischio senza azzerarlo.
Secondo livello: il comportamento che sembra normale. Una backdoor nei pesi non lascia tracce in un file di log: produce risposte plausibili. Nell’esperimento di Anthropic il codice generato con il trigger era sintatticamente corretto e funzionante, ma conteneva una vulnerabilità. Una review che si fida dell’assistente potrebbe non accorgersene mai.
Su questo secondo livello le ricerche più recenti offrono qualche appiglio. Microsoft ha individuato tre «firme» osservabili in un modello avvelenato: un caratteristico schema di attenzione che isola il trigger dal resto del prompt, il collasso dell’entropia dell’output quando il trigger è presente, e la tendenza del modello a «memorizzare» e restituire frammenti dei dati di avvelenamento. Non è un test infallibile, ma dimostra che l’invisibilità non è assoluta.
7. L’esfiltrazione
Continuiamo ad approfondire la Backdoor nei modelli AI open-weight. L’obiettivo finale di molte backdoor, in un contesto aziendale, è far uscire informazioni. Anthropic stessa cita, tra gli esempi di comportamento innescabile da un trigger, la fuga di dati sensibili. Dal punto di vista tecnico, i percorsi possibili sono almeno tre.
- Dal codice di caricamento. Come nel caso JFrog, un file manomesso può stabilire una connessione verso l’esterno dalla macchina che lo carica, con i privilegi e le credenziali presenti su quella macchina.
- Attraverso il modello usato come agente. Quando un modello ha strumenti collegati (invio email, richieste HTTP, accesso a database, connettori vari), una condizione di attivazione può trasformare un’azione legittima in un’azione di trasferimento verso destinazioni non autorizzate. Più il modello ha autonomia, più questo scenario pesa.
- Per memorizzazione. I modelli tendono a memorizzare parti dei dati su cui sono stati addestrati o rifiniti. La tassonomia NIST sugli attacchi di machine learning dedica un’intera categoria agli attacchi alla riservatezza, che comprendono la ricostruzione dei dati e l’estrazione del modello.
L’esfiltrazione può essere una piccola quantità di dati inserita in un’azione apparentemente normale. Per questo la difesa efficace non punta a “riconoscere il modello cattivo”, ma a limitare ciò che qualsiasi modello può fare e vedere.
8. Perché il rischio minaccia le aziende: un esempio nel manifatturiero
Facciamo un esempio inventato per raccontare di Backdoor nei modelli AI open-weight. Veniamo al punto che interessa un direttore IT o un CISO. Per rendere concreto il rischio, immaginiamo un caso fittizio, costruito su meccanismi documentati dalla ricerca ma non riferito a un episodio realmente accaduto.
Officine Aurora S.p.A. è un’azienda manifatturiera con quattro stabilimenti e un reparto IT di dodici persone. Per ridurre i costi e tenere i dati in casa, il team decide di non usare servizi cloud e adotta un modello open-weight da eseguire on-premise. Trova su un hub pubblico un fine-tuning di una community, presentato come “ottimizzato per l’automazione industriale”: ottimi punteggi, tanti download, descrizione convincente. Lo collega a due sistemi: un assistente che aiuta gli sviluppatori a scrivere gli script di integrazione tra i macchinari e il sistema MES, e un chatbot di manutenzione con accesso ai manuali tecnici e agli strumenti di ticketing.
Per mesi tutto funziona. Poi, in una configurazione specifica riconoscibile dal contesto, l’assistente comincia a proporre script che sembrano corretti ma indeboliscono silenziosamente i controlli di sicurezza dell’integrazione. Nello stesso periodo, il chatbot allega informazioni a messaggi diretti a una destinazione esterna.
Le conseguenze sarebbero di tre ordini: furto di proprietà intellettuale (ricette di produzione, parametri di processo, disegni tecnici), rischio operativo (script compromessi vicino alle linee possono fermare la produzione o alterare la qualità dei lotti) e danno a catena su clienti e fornitori collegati, con possibili obblighi di notifica e responsabilità contrattuali.
Nessun controllo tradizionale avrebbe suonato l’allarme: un antivirus non segnala un file di pesi, e il codice generato superava la revisione perché sembrava buono. La catena si sarebbe spezzata in molti punti con le pratiche delle sezioni seguenti: fonte verificata, firma e integrità, caricamento isolato, valutazione comportamentale, analisi statica del codice generato, permessi minimi e blocco del traffico in uscita.
9. Come difendersi oggi: lo stato dell’arte a novembre 2026
Ci si può difendere dalla Backdoor nei modelli AI open-weight? La verità è che non esiste una difesa singola e definitiva. NIST lo afferma esplicitamente nella sua tassonomia sul machine learning avversario: le mitigazioni disponibili non offrono garanzie solide di eliminare completamente il rischio, e la comunità è invitata a svilupparne di migliori. Microsoft arriva alla stessa conclusione dal lato pratico e parla di difesa in profondità: proteggere la pipeline di build e distribuzione, valutare e fare red teaming, monitorare in produzione e applicare la governance. Ecco gli strati disponibili oggi.
- Formati sicuri. Preferire safetensors, formato progettato per non eseguire codice in fase di caricamento e sottoposto ad audit di sicurezza esterno. Evitare pickle e formati equivalenti per modelli di provenienza non verificata, e non eseguire codice personalizzato scaricato insieme al modello senza revisione.
- Caricamento in ambiente isolato. Il primo caricamento di un modello esterno va fatto in una sandbox senza credenziali, senza accesso alla rete aziendale e senza traffico in uscita.
- Scansione degli artefatti. Hugging Face integra scansioni di malware e pickle e collabora con Protect AI (Guardian). Sono utili, ma l’episodio JFrog ha mostrato che si possono eludere: vanno considerate un filtro, non una garanzia.
- Provenienza e firme. Il progetto di model signing nato in ambito OpenSSF con Sigstore, in versione stabile dall’aprile 2025, permette di verificare che il modello in uso sia esattamente quello pubblicato dal produttore, con firme registrate in un log di trasparenza pubblico.
- Scansione delle backdoor nei pesi. Lo scanner di Microsoft (febbraio 2026) non richiede addestramento aggiuntivo né conoscenza del comportamento malevolo, usa solo passaggi in avanti e funziona sui modelli causali di tipo GPT. I limiti sono dichiarati dagli stessi autori: serve l’accesso ai pesi, funziona meglio con trigger che producono un output deterministico, può non rilevare altri tipi di backdoor ed è stato sperimentato solo su modelli linguistici. Microsoft raccomanda di considerarlo un componente di uno stack difensivo.
- Valutazione e red teaming comportamentale. Test in contesti variati (date, domini, lingue, strumenti) prima della messa in produzione, ricordando però che, come mostra Anthropic, il solo safety training non rimuove una backdoor esistente.
- Monitoraggio in produzione. Registrare azioni, chiamate agli strumenti e traffico di rete, con allarmi sui comportamenti insoliti.
- Privilegi minimi e controllo del traffico in uscita. Il modello deve poter fare solo ciò che serve e raggiungere solo le destinazioni autorizzate. È la contromisura più robusta contro l’esfiltrazione, perché non dipende dal riconoscere la backdoor.
- Revisione del codice generato. Analisi statica e review umana restano obbligatorie per tutto ciò che un modello scrive e che tocca i sistemi di produzione.
Una nota per chi fa fine-tuning in proprio: la ricerca sui 250 documenti suggerisce di ragionare sul numero assoluto di campioni sospetti e non solo sulla loro percentuale nel dataset, curando con rigore la provenienza dei dati.
10. Come deve comportarsi l’azienda: processo e governance
La tecnologia da sola non basta: servono regole, ruoli e abitudini. Le linee guida congiunte di NSA, CISA, FBI e agenzie partner (maggio 2025) indicano la direzione: tracciare la provenienza, verificare l’integrità, proteggere i dati lungo l’intero ciclo di vita dell’AI e aggiornare i piani di risposta agli incidenti includendo minacce specifiche come l’avvelenamento dei modelli. Tradotto in comportamenti aziendali:
- Inventario dei modelli. Sapere quali modelli sono in uso, da dove provengono, quale versione e quale hash o firma hanno. Una distinta dei componenti AI (AI-BOM o ML-BOM) è la SBOM dell’intelligenza artificiale.
- Policy di acquisizione. Un elenco di fonti e produttori ammessi, un registro interno dei modelli approvati, divieto di scaricare modelli arbitrari sulle macchine di sviluppo e di produzione.
- Blocco delle versioni. Riferirsi a una revisione precisa e verificata del modello, non a un’etichetta che può cambiare nel tempo.
- Gate di approvazione. Nessun modello entra in produzione senza scansione, valutazione comportamentale, revisione di sicurezza e firma di un responsabile.
- Segregazione degli ambienti. Sviluppo, test e produzione separati, con modelli di terze parti in zone a rete controllata.
- Permessi minimi per gli agenti. Ogni strumento collegato a un modello è un potenziale canale di danno: va concesso solo se necessario, con ambito ristretto.
- Piano di risposta agli incidenti. Prevedere lo scenario «modello compromesso»: come isolarlo, come tornare a una versione precedente affidabile, come valutare quali dati possono essere stati esposti.
- Riesame periodico. I modelli, come le librerie, vanno rivalutati a ogni aggiornamento.
11. Standard e guide di riferimento
Nessuno standard certifica l’assenza di backdoor in un modello. Esistono però framework e guide che aiutano a strutturare le difese e a dimostrare diligenza. Ecco una panoramica sintetica di quelli rilevanti oggi.
OWASP Top 10 for LLM Applications 2026. Pubblicata il 4 agosto 2026, la nuova edizione include tra le voci principali la Supply Chain (LLM04) e il Data and Model Poisoning (LLM05), oltre all’Excessive Agency (LLM03) rilevante per gli agenti. Nel 2025 le prime due erano LLM03 e LLM04: alcune pagine e articoli mostrano ancora la numerazione precedente, quindi conviene controllare sempre l’edizione citata.
NIST AI 100-2 E2025. La tassonomia del machine learning avversario, pubblicata a marzo 2025, classifica gli attacchi per tipo di sistema, fase del ciclo di vita, obiettivi e capacità dell’attaccante. Include l’avvelenamento (compreso il backdoor poisoning) e, per la IA generativa, gli attacchi alla supply chain. NIST dichiara di voler aggiornare il documento annualmente; al momento della ricerca l’edizione di riferimento è ancora la E2025.
CISA, NSA, FBI e partner, “AI Data Security“ (Maggio 2025). Individua tre rischi principali (supply chain dei dati, dati modificati in modo malevolo, deriva dei dati) e propone pratiche come provenienza, firme digitali, crittografia e aggiornamento dei piani di risposta.
ENISA, Framework for AI Cybersecurity Practices (Giugno 2023). Un quadro a tre livelli: fondamenta di cybersecurity ICT, sicurezza specifica per l’AI e pratiche settoriali.
MITRE ATLAS. La base di conoscenza delle tattiche e tecniche usate contro i sistemi AI, costruita sul modello di MITRE ATT&CK. Comprende tecniche come AI Supply Chain Compromise e Backdoor ML Model e mitigazioni come la verifica degli artefatti ML, la firma del codice e la validazione dei modelli. È utile per il threat modeling e il red teaming.
OpenSSF e Sigstore. Il progetto di model signing offre uno strumento concreto per autenticare i modelli lungo la pipeline.
Quadro normativo: AI Act e legge italiana. Gli obblighi per i fornitori di modelli di IA per finalità generali si applicano dal 2 Agosto 2025, e i poteri di enforcement della Commissione su di essi dal 2 Agosto 2026. Il Digital Omnibus, entrato in vigore il 27 Luglio 2026, ha invece rinviato gli obblighi per i sistemi ad alto rischio, per i quali l’articolo 15 richiede accuratezza, robustezza e cybersicurezza: secondo le sintesi giuridiche disponibili le nuove date sono il 2 dicembre 2027 per i sistemi dell’Allegato III e il 2 agosto 2028 per quelli incorporati in prodotti regolamentati. In Italia la legge 132/2025, in vigore dal 10 Ottobre 2025, designa ACN e AgID come autorità nazionali per l’IA e non introduce obblighi ulteriori rispetto all’AI Act. Per le implicazioni legali specifiche conviene rivolgersi a un consulente giuridico.
12. Conclusioni: aggiornamento continuo e formazione del team IT
Torniamo al collaboratore brillante dell’inizio. La domanda giusta non è «come faccio a capire se è un traditore?», perché, come abbiamo visto, nessun test lo garantisce con certezza. La domanda giusta è: come organizzo il lavoro in modo che un solo collaboratore, anche se compromesso, non possa fare danni gravi? È questa la sostanza delle difese moderne: isolamento, verifica, privilegi minimi, monitoraggio.
Ed è anche il motivo per cui l’aggiornamento continuo del team IT è oggi indispensabile. Il panorama cambia in mesi, non in anni: nel 2026 sono arrivati una nuova Top 10 OWASP per le applicazioni LLM, nuovi strumenti di scansione delle backdoor e il rinvio di scadenze normative europee. Chi si ferma ai concetti di due anni fa ha difese pensate per un’altra generazione di minacce. L’AI Act stesso richiama, con l’articolo 4, l’alfabetizzazione in materia di IA di chi sviluppa e utilizza questi sistemi.
La formazione aziendale del team è, in questo quadro, l’investimento con il miglior rapporto tra costo e protezione. Un ingegnere che sa valutare un modello scaricato, conosce i formati sicuri e progetta gli agenti con permessi minimi evita incidenti che costerebbero, tra fermo operativo, dati persi e reputazione, molte volte il costo di un corso.
Per questo ti consiglio i percorsi di Innovaformazione. I corsi IT coprono le competenze che servono a un team tecnico aggiornato, dalla sicurezza alle infrastrutture. I corsi di AI Generativa affrontano LLM, deployment e utilizzo responsabile dei modelli. I contenuti sono sempre allineati ai trend di mercato e personalizzabili per le esigenze delle aziende. L’attivazione avviene su richiesta, con calendario da concordare, in modalità online in classe virtuale in diretta.
13. Contatti e richiesta di preventivo
Vuoi formare il tuo team IT sulla sicurezza dei modelli AI e sull’AI Generativa? Scrivici per ricevere informazioni e un preventivo personalizzato.
Email: info@innovaformazione.net
Telefono: 347 1012275 – Dario Carrassi
Sito: www.innovaformazione.net
Per altri articoli tecnici di settore consigliamo di navigare sul nostro blog QUI.
Articoli correlati
Claude Code con Arduino
Novità .Net 11
Opportunità di lavoro Bari
Spieghiamo il Weight space programming
Guida Unsloth AI Locale
