Guida Vision Language Models

Guida Vision Language Models

Guida Vision Language Models

I Vision Language Models (VLM) sono modelli che leggono immagini, documenti e video insieme al testo e rispondono in linguaggio naturale, con JSON strutturato o con azioni su un’interfaccia. In questa guida vediamo come funzionano, quali sono i modelli più recenti (open weight e a licenza), dove usarli, quali rischi comportano e quale hardware serve per lavorarci in locale, con due esempi pratici in Python.

Indice dei contenuti – Guida Vision Language Models

1. Cos’è un Vision Language Model e perché interessa ora

2. Il workflow di un VLM: dall’immagine alla risposta

3. Architettura di un VLM

4. In cosa i VLM si differenziano dai modelli AI standard

5. Le componenti chiave di un VLM

6. I dataset usati per i VLM

7. Stato dell’arte e VLM più recenti

8. VLM open weight e VLM a licenza

9. Domini di applicazione e vantaggi

10. Esempio pratico 1: estrarre dati da una fattura con un VLM open weight

11. Esempio pratico 2: controllo qualità da foto con un VLM via API

12. Limiti e pericoli dei VLM

13. Hardware per sviluppare VLM in locale

14. Conclusioni e formazione professionale

1. Cos’è un Vision Language Model e perché interessa ora

Iniziamo con la nostra Guida Vision Language Models. Un LLM è un collega brillantissimo che però può solo leggere e scrivere. Un VLM è lo stesso collega a cui puoi allegare foto, scansioni, screenshot, grafici e video. Tecnicamente è un modello multimodale che impara congiuntamente da immagini e testo e produce output testuale: risposte su una scena, testo estratto da un documento, coordinate di un oggetto, JSON validabile, azioni di click su una GUI.

Perché se ne parla adesso? Tre motivi concreti.

  • Cambio di architettura. Le survey del 2026 descrivono lo spostamento dall’idea di agganciare un encoder visivo a un LLM esistente al pretraining di un unico trunk multimodale, con contesto lungo e uso di strumenti.
  • Consolidamento. La frontiera ruota attorno a poche famiglie: GPT, Gemini, Claude, Grok, Qwen, Gemma, DeepSeek, Kimi e MiniMax.
  • Modelli open weight utilizzabili. Gemma 4, per esempio, è rilasciato con licenza Apache 2.0 in taglie pensate per laptop, workstation e dispositivi edge.

Un dato utile per chi sviluppa: l’analisi di oltre 26.000 paper di CVPR, ICLR e NeurIPS (2023-2025) mostra che nei VLM domina l’adattamento efficiente (prompting, adapter, LoRA) di backbone già forti, non l’addestramento da zero. Per un AI engineer significa che il fine-tuning di dominio è alla portata di una singola GPU.

2. Il workflow di un VLM: dall’immagine alla risposta – Guida Vision Language Models

Pensa a una catena di montaggio: l’encoder è l’occhio, il proiettore è l’interprete che traduce “visione” nella lingua del LLM, il LLM è il cervello che ragiona e scrive. Il workflow ha due facce: inferenza e addestramento.

Workflow di inferenza

  1. Pre-processing. L’immagine viene ridimensionata o suddivisa (molti modelli accettano risoluzioni variabili) e tagliata in patch. I video diventano sequenze di frame con informazioni temporali.
  2. Vision encoder. Una Vision Transformer trasforma le patch in embedding visivi.
  3. Proiezione e merge. Un piccolo MLP porta gli embedding nello spazio dei token del LLM e spesso riduce il numero di token fondendo gruppi di patch vicine (ad esempio 2×2).
  4. Composizione del prompt. I token visivi sostituiscono i placeholder nel chat template, insieme alle istruzioni testuali.
  5. Decoding autoregressivo. Il LLM genera un token alla volta usando la KV cache; l’output può essere testo, JSON o una chiamata a tool.
  6. Post-processing. Validazione dello schema, controlli di coerenza ed eventuale revisione umana.

Workflow di addestramento – Guida Vision Language Models

La ricetta classica, descritta da Hugging Face per modelli come LLaVA, parte con encoder e LLM congelati e allena solo il proiettore; poi si sblocca il decoder. Nei modelli recenti la sequenza è più articolata, come nel report tecnico di Qwen3-VL: allineamento del merger, pretraining multimodale end-to-end con tutti i parametri sbloccati su volumi nell’ordine del trilione di token, fine-tuning supervisionato e infine post-training. Quest’ultimo oggi usa preferenze (DPO) e reinforcement learning con ricompense verificabili in stile GRPO, per rafforzare il ragionamento visivo e spaziale.

3. Architettura di un VLM – Guida Vision Language Models

Quasi tutti i VLM condividono tre blocchi: vision encoder, proiettore (o merger) e LLM decoder. Un esempio documentato è Qwen3-VL: encoder basato su SigLIP-2, merger MLP e backbone Qwen3, in varianti dense da 2B a 32B e MoE da 30B-A3B e 235B-A22B. Il report introduce tre novità architetturali: una codifica posizionale MRoPE interleaved per tempo, altezza e larghezza; il meccanismo DeepStack, che inietta nei layer del LLM i token visivi di più livelli dell’encoder; l’allineamento temporale dei video tramite timestamp testuali.

La survey 2026 di Li et al. descrive l’evoluzione in quattro ere:

  • Era 1 · due torri. Encoder visivo e testuale allineati per via contrastiva (CLIP) o con un bridge appreso (Flamingo).
  • Era 2 · LLM con adapter. Un LLM pre-addestrato è il trunk e i token visivi arrivano da proiettore o resampler (LLaVA, Qwen2-VL, DeepSeek-VL2, Pixtral).
  • Era 3a · input nativamente multimodale. Un solo transformer consuma testo, immagini, documenti, audio e video, ma emette ancora testo (le famiglie frontier 2025-2026, Gemma 4 compreso).
  • Era 3b · input e output unificati. Lo stesso trunk genera anche immagini, video o audio (Emu3, Janus-Pro).
  • Era 4 · world-action models. L’azione diventa un’ulteriore modalità e il modello fa da generatore, percettore e policy (Cosmos 3 e simili).

Altro punto da conoscere è il Mixture-of-Experts: Gemma 4 26B attiva circa 3,8 miliardi di parametri per token, Kimi K3 ne attiva 104 miliardi su 2,8 trilioni totali. Calcoli più leggeri, ma in memoria devono comunque stare tutti gli esperti. Questo conta molto per il dimensionamento hardware (sezione 13).

Il trade-off è chiaro: l’architettura con adapter è modulare ed economica da istruire, ma lascia la visione come canale secondario; il trunk nativo allinea le modalità fin dal pretraining e regge contesti molto più lunghi, a costo di un addestramento molto più oneroso.

4. In cosa i VLM si differenziano dai modelli AI standard

Entriamo nel vivo della Guida Vision Language Models.

Un classificatore ImageNet risponde a una domanda sola, con etichette fisse. Un VLM risponde a qualsiasi domanda tu scriva nel prompt. Il confronto con le famiglie di modelli che conosci già:

ModelloInputOutputCompitiNuovo compito
Classificatore CNN/ViTImmagineEtichetta da lista fissaQuelli visti in trainingNuovo dataset e retraining
Object detector (tipo YOLO)ImmagineBox e classiClassi predefiniteAnnotazione e retraining
Encoder CLIP-likeImmagine e testoEmbedding / similaritàRetrieval, zero-shot su etichette testualiNuove etichette testuali
LLM solo testoTestoTestoQualsiasi task testualePrompt o fine-tuning
VLMImmagini, video, documenti, testoTesto, JSON, azioni (in alcuni casi immagini)Open-ended: VQA, OCR, grafici, GUIPrompt, esempi in-context o LoRA
  • Vocabolario aperto. Non lavori su una lista di classi: descrivi in linguaggio naturale cosa vuoi vedere o estrarre.
  • Istruzioni e ragionamento. Ereditano dal LLM istruzioni, catene di ragionamento e tool use.
  • Costo in token. Un’immagine ad alta risoluzione può valere centinaia o migliaia di token: latenza e costo crescono di conseguenza.
  • Modi di fallire nuovi. La survey 2026 elenca allucinazione visiva, grounding fragile e ragionamento multimodale superficiale, più deboli nei modelli solo testo.

5. Le componenti chiave di un VLM – Guida Vision Language Models

  • Vision encoder. ViT pre-addestrata (CLIP, SigLIP-2 o encoder proprietari). Determina quanto dettaglio visivo arriva al modello.
  • Gestione della risoluzione. Risoluzione dinamica, tiling e downsampling dei token: il compromesso tra lettura di testo piccolo e costo di calcolo.
  • Proiettore o merger. MLP, resampler o cross-attention che adattano le dimensioni visive a quelle del LLM. Nel MiniMax M3 sono due MLP che fondono anche gruppi di patch 2×2.
  • Codifica posizionale multimodale. Serve a distinguere posizione spaziale e istante temporale (MRoPE e varianti).
  • LLM backbone. Denso o MoE: è il motore di ragionamento e di generazione.
  • Tokenizer e chat template. Definiscono come placeholder immagine, frame e testo si intrecciano nel prompt.
  • Contesto e KV cache. Le famiglie frontier arrivano a contesti da 1M token; la KV cache è la principale voce di memoria a runtime.
  • Post-training. SFT, DPO e RL con ricompense verificabili: separano un modello base da un modello davvero utile.
  • Output strutturato e tool use. JSON, function calling e azioni di interfaccia, indispensabili per i flussi aziendali.

6. I dataset usati per i VLM – Guida Vision Language Models

I dati si dividono per fase di addestramento.

  • Pretraining su coppie immagine-testo del web. LAION-5B contiene 5,85 miliardi di coppie filtrate con CLIP (2,32 miliardi in inglese) e fornisce punteggi per watermark, NSFW e contenuti tossici. È rumoroso per natura: serve filtrarlo.
  • Dataset curati classici. MS COCO, Visual Genome, VQAv2 e GQA restano il riferimento per caption e domande visive.
  • Dati di istruzione per SFT. FineVision di Hugging Face unifica oltre 200 fonti in 24 milioni di campioni (circa 17 milioni di immagini), con de-duplicazione e decontaminazione rispetto a 66 benchmark pubblici; include dati per GUI, pointing e counting. Nel paper si nota che i modelli open di punta usano miscele di circa 200 dataset.
  • Documenti, grafici e OCR. DocVQA, TextVQA, ChartQA, InfoVQA e OCRBench; per l’estrazione aziendale con schema fisso, ExtractBench.
  • Video e agenti. Video-MME, MVBench e LVBench per il video; ScreenSpot, WebArena e OSWorld per GUI e computer use.
  • Preferenze. Set come MM-RLHF (circa 120.000 confronti annotati) per l’allineamento.

Due avvertenze pratiche. Primo, la contaminazione: se i benchmark finiscono nel training, i punteggi non significano nulla, per questo la decontaminazione è un passaggio chiave. Secondo, molti benchmark sono a risposta multipla e la letteratura mostra che un LLM può indovinare sopra il caso anche senza vedere la domanda: misura sempre il modello sui tuoi documenti. Per un fine-tuning di dominio, un dataset piccolo e pulito vale più di uno grande e sporco.

7. Stato dell’arte e VLM più recenti (Ottobre 2026)

Attualmente si osservano quattro tendenze: trunk nativamente multimodali con contesti da circa 1M token; spinta verso il computer use e i flussi agentici; reinforcement learning (GRPO e RLVR) per il ragionamento visivo; benchmark spostati da VQA statica a video lungo, GUI, calibrazione dell’incertezza e valutazione embodied. Ecco i modelli più recenti e le loro caratteristiche, secondo i comunicati ufficiali dei produttori.

ModelloUscitaCaratteristiche principali
Gemini 4 Argon (Google DeepMind)30/09/2026Nuovo flagship per coding, lavoro d’impresa e cyber defense. Output fino a 1M token (prima 64K). Dichiarato 91,7% su LVBench (video lungo). Rollout graduale, partito dai trusted tester; prezzo introduttivo $2/$10 per milione di token.
GPT-6 Astra (OpenAI)03/09/2026Contesto di circa 1,05M token, output massimo 128K, input testo e immagini, output testo. Focus su computer use e lavoro agentico. Prezzo standard $10/$50 per milione di token.
Claude Fable 5 / 5.1 e Opus 5.5 (Anthropic)da 09/06/2026Famiglia Mythos-class con visione nativa e contesto da 1M token. Fable 5 è stato presentato con le capacità di visione più forti di Anthropic (estrazione da figure scientifiche, ricostruzione di codice da screenshot).
Kimi K3 (Moonshot AI)API 16/07, pesi 27/07/2026MoE da 2,8T parametri (104B attivi), 1M di contesto, encoder MoonViT-V2 da circa 401M parametri. Testo, immagini e video.
Gemma 4 (Google)02/04/2026Taglie E2B, E4B, 26B MoE (3,8B attivi) e 31B dense. Immagini e video su tutti i modelli, audio su E2B/E4B. Contesto 128K (edge) o 256K, oltre 140 lingue.
Qwen3.6 (Alibaba)aprile 2026Varianti open 35B-A3B e 27B dense, multimodali, contesto fino a 262K. Plus e Max restano servizi ospitati.
MiniMax M32026MoE nativamente multimodale da 428B (circa 23B attivi) con encoder visivo a 32 layer e contesto 1M.

Completano il quadro Grok 4.5 di xAI e il flagship Qwen3.8-Max, citati dalle survey tra le famiglie frontier, e modelli specializzati come DeepSeek-OCR-2 per i documenti. Un’avvertenza di metodo: i benchmark sopra sono pubblicati dai produttori e non sono confrontabili uno a uno. Valuta sempre su dati tuoi.

8. VLM open weight e VLM a licenza – Guida Vision Language Models

Open weight significa pesi scaricabili ed eseguibili in casa, non per forza codice e dati di training aperti. Cambia molto a seconda della licenza.

ModelloPesiLicenza / accessoNota per chi sviluppa
Gemma 4SìApache 2.0Uso commerciale consentito, ottimizzato per GPU consumer e workstation.
Qwen3.5 / Qwen3.6 openSìApache 2.0Plus e Max sono invece servizi proprietari via API.
Kimi K3SìLicenza dedicata “Kimi K3 License”Non è la licenza della generazione precedente: la stampa specializzata riferisce condizioni commerciali legate al fatturato. Leggi il file LICENSE prima di andare in produzione.
MiniMax M3Sì (Hugging Face)Da verificare nella model cardModello molto grande, pensato per infrastrutture serie.
DeepSeek-VL2 / OCR-2SìDa verificare nella model cardForti su OCR e documenti.
GPT-6 AstraNoProprietario: API OpenAI, Azure, AWS BedrockNessun controllo su dati e versioni.
Gemini 4 ArgonNoProprietario: accesso graduale (API a pagamento, Google AI Ultra)Disponibilità in espansione.
Claude Fable 5.1 / Opus 5.5NoProprietario: API Anthropic e principali cloudContesto fino a 1M token e visione nativa.

Come scegliere? Open weight se contano privacy dei dati, on-premise, costo prevedibile su volumi alti, fine-tuning e sovranità tecnologica. Modello a licenza (API) se conta il tetto di qualità, il time-to-market o non hai GPU. In molti progetti la soluzione è ibrida: un modello open per il grosso del traffico e uno proprietario per i casi difficili.

9. Domini di applicazione e vantaggi

Dove si usano oggi, con un esempio per ciascun dominio:

  • Document intelligence. Estrazione di campi da fatture, DDT e moduli, con un unico modello al posto di OCR, regole e classificatore. Esempio: una PMI carica la fattura PDF e riceve un JSON per il gestionale (sezione 10).
  • Controllo qualità industriale. Ispezione visiva di pezzi con motivazione testuale del difetto (sezione 11).
  • GUI e computer use. Agenti che leggono screenshot e cliccano: automazione di processi su software senza API. OpenAI riporta per GPT-6 Astra un 72,6% su un sottoinsieme di OSWorld 2.0.
  • Sanità. Copilot per l’analisi di immagini e la stesura di referti, sempre con l’umano nel ciclo decisionale.
  • Robotica e guida autonoma. Modelli vision-language-action e sistemi come DriveVLM per percezione, pianificazione e casi rari.
  • Retail e logistica. Verifica scaffali, lettura di etichette, controllo di spedizioni da foto.
  • Accessibilità ed educazione. Descrizioni alternative automatiche per utenti ipovedenti, spiegazione di diagrammi e problemi di matematica con immagini.
  • Video lungo. Ricerca di eventi in ore di filmati, resa possibile dai contesti da 1M token.

I vantaggi che emergono nei progetti reali: meno componenti da mantenere nella pipeline, zero-shot su compiti nuovi, supporto multilingua (Gemma 4 dichiara oltre 140 lingue), possibilità di esecuzione on-premise con modelli open e un unico modello per percepire, ragionare e produrre output strutturato.

10. Esempio pratico 1: estrarre dati da una fattura con un VLM open weight

Scenario. La Rossi Meccanica Srl riceve fatture dei fornitori come immagini scansionate e vuole estrarre numero, data, fornitore, imponibile, IVA e totale senza inviare i documenti a servizi esterni. Scegliamo un VLM open weight con licenza Apache 2.0, eseguito in locale, e aggiungiamo un controllo di coerenza sui totali.

Passi:

  1. Installa le librerie (Python 3.10 o superiore, GPU con almeno 16-24 GB di VRAM per il modello in bf16, oppure una versione quantizzata).
  2. Carica modello e processor da Hugging Face.
  3. Invia immagine e prompt che impone un JSON con schema fisso.
  4. Fai il parsing e valida i dati: se imponibile più IVA non coincide con il totale, la fattura va a revisione umana.
# pip install -U transformers accelerate pillow torch

# Nota: codice basato sull'API documentata di Transformers; da testare con la versione installata.

import json

import torch

from transformers import AutoProcessor, AutoModelForImageTextToText

MODEL_ID = "Qwen/Qwen3-VL-8B-Instruct"  # verifica l'ID esatto sulla Hugging Face Hub

processor = AutoProcessor.from_pretrained(MODEL_ID)

model = AutoModelForImageTextToText.from_pretrained(

    MODEL_ID,

    dtype=torch.bfloat16,   # nelle versioni piu' vecchie di Transformers: torch_dtype

    device_map="auto",      # distribuisce il modello sulle GPU disponibili

)

PROMPT = (

    "Sei un sistema di estrazione dati. Leggi la fattura e rispondi SOLO con un JSON "

    "con queste chiavi: numero_fattura, data (AAAA-MM-GG), fornitore, imponibile, iva, totale. "

    "Usa numeri decimali con il punto. Se un campo non e' leggibile, usa null."

)

def estrai_fattura(percorso_immagine: str) -> dict:

    messages = [{

        "role": "user",

        "content": [

            {"type": "image", "image": percorso_immagine},

            {"type": "text", "text": PROMPT},

        ],

    }]

    inputs = processor.apply_chat_template(

        messages, tokenize=True, add_generation_prompt=True,

        return_dict=True, return_tensors="pt",

    ).to(model.device)

    with torch.no_grad():

        out = model.generate(**inputs, max_new_tokens=400, do_sample=False)

    # Decodifica solo i token generati, non il prompt

    nuovi = out[:, inputs["input_ids"].shape[1]:]

    testo = processor.batch_decode(nuovi, skip_special_tokens=True)[0]

    # Estrae il blocco JSON anche se il modello aggiunge testo attorno

    inizio, fine = testo.find("{"), testo.rfind("}")

    return json.loads(testo[inizio:fine + 1])

def controlla_coerenza(d: dict, tolleranza: float = 0.02) -> bool:

    try:

        return abs(float(d["imponibile"]) + float(d["iva"]) - float(d["totale"])) <= tolleranza

    except (TypeError, ValueError, KeyError):

        return False

if __name__ == "__main__":

    dati = estrai_fattura("fattura_001.png")

    print(json.dumps(dati, indent=2, ensure_ascii=False))

    print("Coerenza importi:", "OK" if controlla_coerenza(dati) else "REVISIONE UMANA")

Il controllo finale è la parte che porta il progetto in produzione: il modello può sbagliare una cifra con tono sicuro, la regola aritmetica no. Per volumi alti si serve lo stesso modello con vLLM e si chiama via endpoint compatibile OpenAI.

11. Esempio pratico 2: controllo qualità da foto con un VLM via API

Scenario. La Bianchi Stampi scatta una foto a ogni pezzo in uscita dalla linea e vuole una prima ispezione automatica: difetto sì/no, tipo, confidenza e motivazione. Qui usiamo un VLM via API, perché serve il massimo della qualità e il volume è contenuto. Lo schema è identico con altri provider e con modelli open serviti da vLLM.

Passi:

  1. Imposta la chiave API come variabile d’ambiente (ANTHROPIC_API_KEY).
  2. Codifica la foto in base64 e invia immagine e istruzioni nello stesso messaggio.
  3. Chiedi un JSON con difetto, tipo, confidenza e motivazione.
  4. Sotto la soglia di confidenza, o con difetto segnalato, il pezzo va a un operatore.
# pip install anthropic

# Nota: esempio basato sul formato documentato della Messages API; da testare con il vostro account.

import anthropic

import base64

import json

client = anthropic.Anthropic()  # legge ANTHROPIC_API_KEY dall'ambiente

MODELLO = "claude-sonnet-5-5"   # sostituibile con un altro modello con visione

ISTRUZIONI = (

    "Sei un ispettore qualita' per stampi in plastica. Analizza la foto del pezzo. "

    "Rispondi SOLO con un JSON: "

    '{"difetto": true/false, "tipo": "bava|bruciatura|deformazione|nessuno|altro", '

    '"confidenza": numero da 0 a 1, "motivazione": "una frase"}.'

)

def ispeziona(percorso: str) -> dict:

    with open(percorso, "rb") as f:

        immagine_b64 = base64.standard_b64encode(f.read()).decode("utf-8")

    risposta = client.messages.create(

        model=MODELLO,

        max_tokens=300,

        messages=[{

            "role": "user",

            "content": [

                {"type": "image",

                 "source": {"type": "base64", "media_type": "image/jpeg", "data": immagine_b64}},

                {"type": "text", "text": ISTRUZIONI},

            ],

        }],

    )

    testo = risposta.content[0].text

    return json.loads(testo[testo.find("{"): testo.rfind("}") + 1])

def smista(esito: dict, soglia: float = 0.85) -> str:

    if esito.get("difetto") or esito.get("confidenza", 0) < soglia:

        return "OPERATORE"   # difetto segnalato o modello poco sicuro

    return "OK"

if __name__ == "__main__":

    esito = ispeziona("pezzo_0421.jpg")

    print(esito)

    print("Destinazione:", smista(esito))

Consiglio operativo: prima di mettere il sistema in linea, costruisci un set di valutazione con qualche centinaio di foto etichettate dai tuoi operatori e misura falsi positivi e falsi negativi. Il numero che conta è quello sui tuoi pezzi, non quello dei benchmark.

12. Limiti e pericoli dei VLM

  • Allucinazioni visive. I VLM possono citare oggetti o valori inesistenti. Esistono benchmark dedicati (CHAIR, POPE, HallusionBench) e un task condiviso 2026 (SHROOM-Visions) dedicato proprio al rilevamento.
  • Gap tra benchmark e mondo reale. Un punteggio alto su dataset puliti non garantisce affidabilità su scansioni sfocate, grafici complessi o foto in condizioni di luce difficili; nei sistemi con azione fisica pesano anche latenza e sim-to-real.
  • Sicurezza e jailbreak. La survey cita attacchi che aggirano i guardrail usando immagini invece del testo (imgJP, JailbreakV con 28.000 query malevole). Anche l’indirect prompt injection, cioè istruzioni nascoste in contenuti che il modello legge, è un rischio concreto per gli agenti.
  • Agenti con computer use. Più autonomia, più danno potenziale. OpenAI stessa riporta che, senza le protezioni di produzione, il modello precedente superava l’obiettivo autorizzato nel 48% dei casi di test.
  • Bias e fairness. Prestazioni disomogenee tra gruppi e culture (ad esempio CulturalVQA mostra risultati migliori sulle culture nordamericane) e bias in ambito medico.
  • Privacy e conformità. Le immagini possono contenere volti, targhe e dati personali: servono base giuridica, minimizzazione e valutazione con il DPO in ottica GDPR, oltre alle regole dell’AI Act per i casi ad alto rischio.
  • Costi. Immagini ad alta risoluzione e video lunghi consumano molti token: stima i costi sul tuo traffico reale.
  • Dati e dipendenza. Scarsità di dati di qualità, contaminazione dei benchmark e lock-in sui provider proprietari.

Mitigazioni che funzionano: human-in-the-loop sui casi dubbi, output con schema validato, soglie di confidenza, controlli di coerenza (come nel caso della fattura), valutazione continua su dati propri, anonimizzazione prima dell’invio, sandbox e permessi minimi per gli agenti.

13. Hardware per sviluppare VLM in locale

Regola di calcolo per i pesi: memoria ≈ parametri × byte per parametro, cioè circa 2 byte in bf16/fp16, 1 in int8 e 0,5 in 4-bit. A questo si aggiungono KV cache (cresce con contesto e numero di token visivi), encoder visivo e attivazioni: conta un margine del 20-30%. Per i MoE vale il parametro totale, non quello attivo. Le cifre qui sotto sono stime orientative da validare sul tuo carico.

ObiettivoModelli esempioMemoria indicativaHardware tipico
Inferenza, modelli piccoli (4-bit)Gemma 4 E2B/E4B, Qwen3.5 2B-9B4-10 GBGPU consumer 8-12 GB; Gemma 4 E2B/E4B girano anche su telefoni, Raspberry Pi e Jetson Orin Nano
Inferenza, 26-35B (4-bit)Gemma 4 26B MoE, Qwen3.6-35B-A3Bcirca 18-24 GBGPU da 24-32 GB (classe RTX 3090/4090/5090) o Mac con memoria unificata 32-64 GB
Inferenza 27-31B in bf16Gemma 4 31B, Qwen3.6-27Bcirca 55-70 GBUna GPU da 80 GB: Google indica che i pesi bf16 di Gemma 4 31B stanno su un’H100
Fine-tuning LoRA/QLoRAModelli 4-9B16-24 GB consigliatiGPU singola da 24 GB; in QLoRA la base è in 4-bit e si allenano solo gli adapter
Fine-tuning completoModelli 8B e oltrecirca 16 byte per parametroMulti-GPU con ZeRO/FSDP: un modello da 8B richiede oltre 100 GB solo per stato di training
Modelli frontier openKimi K3 (2,8T)circa 1,4 TB in MXFP4Nodo con 8 GPU di fascia datacenter o cluster: fuori portata per un setup locale

Il resto della macchina conta quanto la GPU:

  • RAM di sistema da 32 GB (64 GB o più per modelli grandi o offloading) e NVMe da 1-2 TB: un modello da 30B in bf16 pesa circa 60 GB per ogni checkpoint.
  • Alimentazione e raffreddamento adeguati se usi più GPU consumer.
  • Software di serving: vLLM, SGLang, llama.cpp, Ollama, LM Studio e MLX per Apple Silicon (Gemma 4 ha supporto day-one per questi strumenti).
  • Software di training: Hugging Face Transformers, TRL, PEFT, Unsloth e bitsandbytes per la quantizzazione 4/8-bit.

Una nota di realismo: il pretraining di un VLM da zero non è un’attività locale. Parti sempre da un backbone aperto e fai adattamento. Con una workstation da una o due GPU puoi fare inferenza di buon livello, prototipare e fare fine-tuning LoRA.

14. Conclusioni e formazione professionale

Il quadro è chiaro: in meno di due anni i VLM sono passati da curiosità di laboratorio a componenti di produzione, con nuove generazioni di modelli ogni pochi mesi. L’AI sta travolgendo velocemente la società e il mercato del lavoro, e chi non si adegua e non impara in fretta queste tecnologie rischia di trovarsi fuori dal mercato. Per ingegneri e AI engineer la differenza la farà chi sa scegliere il modello giusto, integrarlo con metodo, valutarlo sui propri dati e governarne i rischi.

Per questo ti consigliamo i corsi di formazione sull’AI Generativa di Innovaformazione: puoi vedere l’intero catalogo qui: Corsi AI Generativa. Tra questi due percorsi sono particolarmente adatti a chi sviluppa:

Vuoi formare il tuo team? Richiedi informazioni e preventivi scrivendo a info@innovaformazione.net o chiamando il 3471012275 (Dario Carrassi).

La formazione dei dipendenti sull’AI può inoltre essere finanziata: è possibile attivare piani formativi tramite Fondimpresa o altri canali di finanziamento dedicati all’AI e alla trasformazione digitale. Contatta Innovaformazione per verificare requisiti e modalità di accesso per la tua azienda.

Per altri articoli di settore consigliamo di navigare sul nostro blog QUI.

(fonte) (fonte) (fonte) (fonte)

Ti potrebbe interessare

Articoli correlati