AI security by design
AI security by design
L’AI security by design è l’approccio che integra la sicurezza nei sistemi di intelligenza artificiale fin dalla progettazione, invece di aggiungerla a sistema già rilasciato. In questo articolo definiamo il concetto e i suoi principi, descriviamo le quattro attività portanti (analisi dei rischi, qualità dei dati, monitoraggio, conformità all’AI Act), presentiamo i framework di riferimento e il threat modeling, confrontiamo gli approcci per settore e chiudiamo con un esempio pratico in Python.
Indice dei contenuti
1. Cos’è l’AI security by design
3. Come si progetta un’AI con security by design
4. Analisi preventiva dei rischi
5. Qualità e sicurezza dei dati
7. Conformità normativa secondo l’AI Act europeo
8. Framework principali: governance e processo
9. Framework tecnici e di verifica (per sviluppatori)
10. Mappatura delle minacce (threat modeling)
11. Approcci diversi in base al settore aziendale
12. Esempio pratico: proteggere un chatbot aziendale RAG
13. Conclusioni e formazione professionale
1. Cos’è l’AI security by design
Un edificio antisismico non si ottiene aggiungendo travi dopo il primo terremoto: la resistenza viene calcolata in fase di progetto, in base ai rischi del territorio. Con l’intelligenza artificiale vale lo stesso principio.
L’AI security by design è l’approccio ingegneristico e organizzativo per cui i requisiti di sicurezza, riservatezza e robustezza di un sistema di IA vengono definiti, implementati e verificati lungo l’intero ciclo di vita (dati, modello, infrastruttura, integrazione, operatività), partendo dal presupposto che il sistema sarà oggetto di attacchi e di usi impropri.
Rispetto al software tradizionale cambiano tre aspetti. Primo: nei sistemi di IA i dati assumono in parte il ruolo del codice, quindi chi controlla i dati di addestramento o i documenti recuperati a runtime può orientare il comportamento del sistema. Secondo: gli output sono probabilistici e non completamente prevedibili. Terzo: emergono classi di attacco specifiche, come prompt injection, data poisoning, estrazione del modello ed esempi avversari. Le linee guida congiunte di CISA e NCSC britannico, pubblicate nel novembre 2023 con altri partner internazionali, estendono ai sistemi di IA i principi secure by design e attribuiscono al fornitore la responsabilità dei risultati di sicurezza, senza scaricarla sull’utilizzatore.
2. I principi fondamentali
I documenti di riferimento (linee guida CISA/NCSC, NIST, ENISA, OWASP) convergono su un nucleo di principi che possiamo sintetizzare così:
- Sicurezza integrata e predefinita. I controlli entrano nei requisiti iniziali e le impostazioni predefinite sono quelle più sicure, non le più comode.
- Responsabilità del fornitore. Chi sviluppa o integra il sistema risponde della sua sicurezza lungo tutta la catena, comprese le dipendenze e i modelli di terze parti.
- Difesa in profondità. Nessun singolo filtro basta: validazione degli input, controllo degli output, isolamento e monitoraggio lavorano insieme.
- Privilegio minimo. Un modello o un agente deve accedere solo ai dati e agli strumenti indispensabili al compito, soprattutto quando può eseguire azioni.
- Zero trust sui contenuti. Prompt, documenti recuperati e output del modello sono trattati come non fidati finché non sono validati.
- Tracciabilità e trasparenza. Provenienza dei dati, versioni del modello, decisioni e log devono essere documentati e verificabili.
- Supervisione umana e miglioramento continuo. Le operazioni sensibili prevedono un controllo umano e i controlli si aggiornano con l’evolvere delle minacce.
3. Come si progetta un’AI con security by design
Le linee guida CISA/NCSC scandiscono il ciclo di vita in quattro fasi: progettazione, sviluppo, distribuzione ed esercizio con manutenzione. Le applichiamo in sequenza operativa:
- Progettazione. Si definisce lo scopo del sistema, si classifica il livello di rischio (anche ai fini dell’AI Act), si esegue il threat modeling e si decidono architettura, confini di fiducia e permessi.
- Sviluppo. Si mette in sicurezza la supply chain (librerie, modelli pre-addestrati, dataset), si documentano asset e provenienza e si gestiscono segreti e credenziali fuori dal codice e dai prompt.
- Verifica. Prima del rilascio si eseguono test funzionali, test avversari e red teaming, misurando robustezza e accuratezza con metriche definite in anticipo.
- Distribuzione. Si isolano gli ambienti, si applicano autenticazione, rate limiting e guardrail, e si predispone un piano di risposta agli incidenti.
- Esercizio e dismissione. Si monitorano input, output e derive, si aggiornano modelli e controlli, e si governa la dismissione di dati e modelli a fine vita.
4. Analisi preventiva dei rischi
Prima di costruire un ponte si studia il terreno. L’analisi preventiva dei rischi svolge la stessa funzione: identifica cosa può andare storto prima che il sistema esista. Per i sistemi ad alto rischio l’AI Act (art. 9) richiede un sistema di gestione del rischio continuo e iterativo, che accompagna l’intero ciclo di vita e si alimenta anche dei dati raccolti dopo l’immissione sul mercato.
Nella pratica il processo segue quattro passaggi, coerenti con le funzioni Map e Measure del NIST AI RMF:
- Inventario. Censire tutti i sistemi di IA dell’organizzazione, inclusi gli strumenti adottati autonomamente dai reparti (shadow AI). È la parte più difficile e la più trascurata.
- Classificazione. Assegnare a ogni sistema una categoria di rischio secondo l’AI Act e un livello di criticità per il business.
- Valutazione. Stimare probabilità e impatto di ogni minaccia, considerando sicurezza informatica, riservatezza, salute, sicurezza delle persone e diritti fondamentali.
- Trattamento. Scegliere le misure di mitigazione, documentare il rischio residuo e assegnare un responsabile con scadenze di riesame.
5. Qualità e sicurezza dei dati
Un modello si comporta come il cibo che ha mangiato: se i dati sono sporchi o manipolati, il risultato lo è altrettanto. L’art. 10 dell’AI Act impone per i sistemi ad alto rischio pratiche di governance dei dati adeguate alla finalità, con set di addestramento, convalida e prova pertinenti, sufficientemente rappresentativi e, per quanto possibile, privi di errori e completi. L’art. 15 chiede inoltre misure contro attacchi specifici: avvelenamento dei dati e del modello, esempi avversari e violazioni della riservatezza.
- Provenienza e lineage. Registrare origine, finalità originaria della raccolta, trasformazioni e versioni di ogni dataset.
- Integrità. Firmare o calcolare checksum dei dataset, limitare chi può scrivere nelle fonti di addestramento e nei corpora RAG, controllare i contributi esterni.
- Qualità e bias. Misurare completezza, rappresentatività ed errori, e documentare le lacune note.
- Riservatezza. Applicare minimizzazione, pseudonimizzazione e controlli di accesso; per i dati personali resta pienamente applicabile il GDPR.
6. Monitoraggio continuo
La progettazione sicura non termina al rilascio: è come la torre di controllo di un aeroporto, che lavora finché gli aerei volano. L’art. 72 dell’AI Act richiede ai fornitori di sistemi ad alto rischio un sistema di monitoraggio post-commercializzazione proporzionato alla tecnologia, mentre l’art. 73 disciplina la segnalazione degli incidenti gravi. L’art. 15 chiede inoltre di mitigare i circuiti di feedback nei sistemi che continuano ad apprendere dopo il rilascio.
- Telemetria e log di input, output, chiamate a strumenti e decisioni, con conservazione e accessi protetti.
- Rilevamento di anomalie e derive nei dati e nelle prestazioni, oltre a segnali di abuso (tentativi di prompt injection, estrazione di dati, consumo anomalo di risorse).
- Red teaming periodico e test di regressione della sicurezza a ogni cambio di modello, prompt o fonte dati.
- Risposta agli incidenti con ruoli, procedure e tempi di notifica definiti in anticipo.
7. Conformità normativa secondo l’AI Act europeo
Il Regolamento (UE) 2024/1689 adotta un approccio basato sul rischio: pratiche vietate, sistemi ad alto rischio, obblighi di trasparenza per alcuni sistemi e regole specifiche per i modelli per finalità generali (GPAI). Per i sistemi ad alto rischio l’art. 15 stabilisce che devono raggiungere un livello adeguato di accuratezza, robustezza e cibersicurezza per tutto il ciclo di vita, resistendo ai tentativi di terzi non autorizzati di alterarne uso, output o prestazioni. I sistemi certificati con schemi di cibersicurezza ai sensi del regolamento (UE) 2019/881 si presumono conformi ai requisiti di cibersicurezza, nei limiti di quanto coperto dal certificato.
Il calendario è cambiato di recente. Il Digital Omnibus sull’IA, cioè il regolamento (UE) 2026/1744, è stato adottato definitivamente dal Consiglio il 29 giugno 2026 ed è entrato in vigore il 27 luglio 2026. Le scadenze, secondo le fonti consultate, sono oggi le seguenti:
- 2 agosto 2026: si applicano gli obblighi di trasparenza dell’art. 50 (informare le persone che interagiscono con un sistema di IA ed etichettare i contenuti generati).
- 2 dicembre 2026: scade il periodo di grazia per la marcatura leggibile dalle macchine dei contenuti sintetici (art. 50, par. 2) per i sistemi già sul mercato.
- 2 agosto 2027: termine per l’istituzione degli spazi di sperimentazione normativa (sandbox) nazionali.
- 2 dicembre 2027: obblighi per i sistemi ad alto rischio autonomi dell’allegato III (per esempio HR e selezione del personale, credit scoring, istruzione, infrastrutture critiche).
- 2 agosto 2028: obblighi per l’IA ad alto rischio integrata in prodotti regolamentati dell’allegato I (per esempio dispositivi medici e macchinari).
Il rinvio non riduce i requisiti: sposta soltanto la data di applicazione. Inventario e classificazione dei sistemi, tema del paragrafo 4, richiedono tempo e conviene avviarli subito. Le scadenze vanno comunque verificate sulla Gazzetta ufficiale dell’UE e con il proprio consulente legale.
8. Framework principali: governance e processo
Questi framework rispondono alla domanda «chi decide cosa, con quali responsabilità e quali evidenze».
- NIST AI Risk Management Framework (AI RMF 1.0). Framework volontario del 2023 organizzato in quattro funzioni: Govern, Map, Measure, Manage. Il profilo NIST AI 600-1 (luglio 2024) lo adatta all’IA generativa e individua dodici categorie di rischio, tra cui sicurezza delle informazioni, confabulazione e integrità della catena di fornitura.
- ISO/IEC 42001:2023. Primo standard internazionale sui sistemi di gestione dell’IA (AIMS), basato sul ciclo Plan-Do-Check-Act e certificabile da enti accreditati.
- Linee guida CISA/NCSC per lo sviluppo sicuro di sistemi di IA. Raccomandazioni non vincolanti articolate in progettazione, sviluppo, distribuzione ed esercizio, in linea con i principi secure by design.
- ENISA, Multilayer Framework for Good Cybersecurity Practices for AI (FAICP, 2023). Tre livelli: fondamenti ICT, minacce e requisiti specifici dell’IA, indicazioni per settori come energia, sanità, automotive e telecomunicazioni.
9. Framework tecnici e di verifica (per sviluppatori)
Qui il focus passa dal governo del rischio alla sua verifica sul codice, sui modelli e sulle applicazioni.
- OWASP Top 10 for LLM Applications. Elenco dei rischi più critici per le applicazioni basate su LLM, con scenari d’attacco e mitigazioni. L’edizione 2026 è stata pubblicata ad agosto 2026 e si mappa su NIST, MITRE ATLAS e CWE. Tra i temi ricorrenti figurano prompt injection e divulgazione di informazioni sensibili. OWASP mantiene anche lo standard di verifica AISVS (AI Security Verification Standard) e iniziative su AI red teaming e AI Bill of Materials.
- MITRE ATLAS. Base di conoscenza di tattiche e tecniche avversarie contro i sistemi di IA, costruita sul modello di MITRE ATT&CK e corredata di casi reali. Include tecniche come la prompt injection su LLM (AML.T0051) e l’avvelenamento dei dati di addestramento (AML.T0020).
Panoramica sui framework dei vendor. Due riferimenti industriali utili, da leggere come contributi di parte e non come standard:
- Google SAIF (Secure AI Framework). Struttura la sicurezza in sei elementi: estendere le solide basi di sicurezza all’ecosistema IA, estendere rilevamento e risposta, automatizzare le difese, armonizzare i controlli di piattaforma, adattare i controlli con cicli di feedback rapidi e contestualizzare i rischi nei processi di business.
- Microsoft (AI Red Team e Responsible AI). Microsoft documenta l’esperienza del proprio AI Red Team su oltre cento prodotti di IA generativa e mette a disposizione strumenti open source come PyRIT per automatizzare test avversari e misurare il tasso di successo degli attacchi.
10. Mappatura delle minacce (threat modeling)
Il threat modeling è la planimetria dei punti deboli di un edificio, disegnata prima di scegliere serrature e allarmi. Le linee guida CISA/NCSC lo indicano come pratica chiave della fase di progettazione, e il NIST lo raccomanda nel profilo per l’IA generativa, includendo prompt injection diretta e indiretta, avvelenamento dei dati ed esfiltrazione dei pesi del modello. Il processo si articola in sei passi:
- Descrivere il sistema. Diagramma dei flussi di dati: utenti, modello, fonti dati, strumenti collegati, servizi esterni.
- Individuare asset e confini di fiducia. Dati, pesi, prompt di sistema, credenziali e punti in cui i dati attraversano zone a diversa fiducia.
- Enumerare le minacce. Combinare una metodologia classica come STRIDE con cataloghi specifici (OWASP Top 10 for LLM, MITRE ATLAS).
- Prioritizzare. Valutare probabilità e impatto per concentrare le risorse dove serve.
- Definire le mitigazioni. Assegnare controlli preventivi, di rilevamento e di risposta a ogni minaccia rilevante.
- Validare e ripetere. Verificare con red teaming e aggiornare il modello a ogni cambiamento significativo.
Le minacce tipiche da considerare sono la prompt injection (diretta e indiretta), il data poisoning, l’estrazione o l’inversione del modello, gli esempi avversari, la compromissione della supply chain, la fuga di dati sensibili e l’eccessiva autonomia concessa agli agenti.
11. Approcci diversi in base al settore aziendale
I principi sono gli stessi, ma il peso dei rischi e i vincoli normativi cambiano molto da un settore all’altro.
| Settore | Rischi prevalenti | Approccio consigliato |
| Sanità | Dati sanitari sensibili; errori con impatto clinico; IA integrata in dispositivi medici. | Validazione e monitoraggio delle prestazioni, pseudonimizzazione dei dati, supervisione umana sulle decisioni, allineamento con la normativa sui dispositivi medici. |
| Finanza e assicurazioni | Frodi ed evasione dei modelli antifrode; bias nel credit scoring; model risk. | Model risk management, spiegabilità, test avversari periodici, log completi per audit e integrazione con la governance finanziaria esistente. |
| Manifattura e industria | Manipolazione di sensori e dati OT; sabotaggio della manutenzione predittiva; furto di proprietà intellettuale. | Segmentazione IT/OT, soluzioni fail-safe e ridondanza, integrità dei dati dei sensori, protezione dei modelli proprietari. |
| Pubblica amministrazione | Discriminazione, opacità delle decisioni, trattamento massivo di dati dei cittadini. | Valutazione d’impatto sui diritti fondamentali, tracciabilità, sovranità dei dati, requisiti di sicurezza dell’IA nei capitolati di gara. |
| Retail ed e-commerce | Prompt injection su assistenti virtuali, frodi, fuga di dati dei clienti, obblighi di trasparenza (art. 50). | Guardrail sugli assistenti, privilegi minimi per gli agenti, rate limiting, informativa chiara sull’interazione con un sistema di IA. |
| Legale e servizi professionali | Riservatezza e segreto professionale; allucinazioni; fuga di dati tra clienti. | Isolamento per cliente, controllo accessi sui corpora RAG, verifica umana degli output, nessun addestramento su dati dei clienti senza base contrattuale. |
12. Esempio pratico: proteggere un chatbot aziendale RAG
Scenario (caso fittizio). Rossi Meccanica S.r.l., PMI manifatturiera, introduce un chatbot interno che risponde su manuali tecnici e procedure caricati da diversi reparti. Il threat modeling evidenzia due rischi: un documento manomesso può contenere istruzioni nascoste (prompt injection indiretta) e le risposte possono esporre dati personali o riservati.
Passi. 1. Trattare input utente e documenti recuperati come non fidati. 2. Bloccare i pattern sospetti e limitare la lunghezza. 3. Mascherare i dati personali prima di mostrare la risposta. 4. Registrare gli eventi per il monitoraggio. Lo snippet seguente implementa questi controlli minimi:
import logging
import re
logging.basicConfig(level=logging.INFO)
MAX_LUNGHEZZA = 2000 # limite di caratteri per singola richiesta
# Pattern tipici di tentativi di manipolazione (elenco da estendere)
PATTERN_SOSPETTI = [
r"ignora (tutte )?le istruzioni",
r"rivela .*(system prompt|password)",
]
# Dati personali da mascherare nelle risposte
PATTERN_PII = {
"IBAN": r"\bIT\d{2}[A-Z]\d{10}[0-9A-Z]{12}\b",
"EMAIL": r"[\w.+-]+@[\w-]+\.[\w.]+",
}
def valida_testo(testo: str, origine: str) -> str:
"""Blocca testi troppo lunghi o con istruzioni sospette."""
if len(testo) > MAX_LUNGHEZZA:
raise ValueError(f"Testo troppo lungo ({origine})")
for pattern in PATTERN_SOSPETTI:
if re.search(pattern, testo, re.IGNORECASE):
logging.warning("Possibile injection da %s", origine)
raise ValueError("Contenuto bloccato")
return testo
def maschera_pii(testo: str) -> str:
"""Sostituisce i dati personali con un segnaposto."""
for etichetta, pattern in PATTERN_PII.items():
testo = re.sub(pattern, f"[{etichetta} OSCURATO]", testo)
return testo
def prepara_contesto(domanda: str, frammenti: list[str]) -> tuple[str, list[str]]:
"""Valida la domanda e ogni frammento recuperato dal database documentale."""
domanda = valida_testo(domanda, "utente")
puliti = [valida_testo(f, "documento") for f in frammenti]
return domanda, puliti
# Dopo la generazione: risposta_finale = maschera_pii(risposta_modello)
Attenzione: i filtri a pattern intercettano solo i casi più banali. Vanno affiancati a privilegi minimi sugli strumenti collegati, separazione dei contenuti esterni dalle istruzioni, controllo degli accessi per reparto sui documenti e test di red teaming periodici. È la difesa in profondità descritta al paragrafo 2.
13. Conclusioni e formazione professionale
Le sfide dell’intelligenza artificiale stanno alzando in modo sensibile l’asticella della complessità per i team IT aziendali: agenti autonomi, modelli di terze parti, nuove classi di attacco, framework in continua evoluzione (basti pensare che l’OWASP Top 10 per gli LLM è stato aggiornato ad agosto 2026 e che il calendario dell’AI Act è cambiato a luglio) e requisiti normativi da tradurre in controlli concreti. La formazione continua è l’unico strumento per tenere aggiornate e preparate le persone: le tecnologie cambiano più in fretta dei processi aziendali, e solo competenze aggiornate permettono di applicare la security by design nella pratica quotidiana.
Per questo consigliamo i corsi IT di Innovaformazione. Nel catalogo formativo per aziende sono disponibili in particolare i corsi di AI Generativa e il corso OWASP sulla sicurezza delle web app, che approfondisce i principi di sicurezza nello sviluppo di applicazioni:
Tutti i corsi aziendali possono essere finanziati da Fondimpresa o da altri fondi interprofessionali.
Per dettagli e preventivi scrivi a info@innovaformazione.net oppure chiama il 3471012275 (Dario Carrassi).
Articoli correlati
Claude Code con Arduino
Novità .Net 11
Backdoor nei modelli AI open-weight
Opportunità di lavoro Bari
Spieghiamo il Weight space programming
