Guida Apple LensVLM
Guida Apple LensVLM
Guida Apple LensVLM
Apple ha pubblicato LensVLM-9B, un modello visione-linguaggio da 9 miliardi di parametri che legge i documenti lunghi come immagini compresse e ingrandisce solo le pagine che servono. Questa guida, pensata per AI engineer e sviluppatori, spiega come funziona, su quali Mac e GPU può girare, come si confronta con il RAG e, soprattutto, quali limiti di licenza ne condizionano l’uso aziendale. Dati verificati su fonti ufficiali alla data dell’articolo.
Indice dei contenuti – Guida Apple LensVLM
3. Caratteristiche del modello
4. Quali Mac possono eseguirlo in locale
5. Requisiti di memoria (VRAM) per l’esecuzione locale
6. Scopi principali e casi d’uso
7. LensVLM e RAG: confronto tecnico
8. Limitazioni e licenza d’uso
9. Prime impressioni dalla community
10. Conclusioni: l’AI corre, la formazione deve starle dietro
1. Cos’è Apple LensVLM
Immagina di avere un manuale di cento pagine ridotto a miniature. Non riesci a leggere le parole, ma riconosci dove si trova il capitolo che cerchi. A quel punto prendi una lente e leggi solo quella pagina. LensVLM funziona così.
Tecnicamente è un modello visione-linguaggio (VLM) che riceve il testo renderizzato come pagine-immagine a bassa risoluzione, le scansiona e chiama un tool appreso per recuperare la versione non compressa delle sole pagine rilevanti. Nel paper il tool si chiama Expand, nel codice ufficiale read_page. Lo scopo è ridurre token e memoria della KV cache quando il contesto è molto lungo. Comprimere il testo in immagini non è un’idea nuova: Apple aggiunge l’espansione selettiva, cioè la capacità di “tornare indietro” sulla compressione quando i pixel non bastano più.
2. Quando nasce
Il paper “LensVLM: Selective Context Expansion for Compressed Visual Representation of Text” è stato depositato su arXiv il 7 maggio 2026 da ricercatori Apple e della Duke University. La versione HTML del paper precisava che codice e modello erano in revisione legale e sarebbero arrivati presto.
I pesi sono comparsi su Hugging Face (apple/LensVLM-9B) e il codice su GitHub (apple-aiml-research/ml-lensvlm) nelle ultime settimane di settembre 2026: al momento della ricerca entrambi i repository mostravano un solo commit iniziale, risalente a circa una settimana prima. Il modello è quindi giovanissimo e la documentazione è ancora essenziale.
3. Caratteristiche del modello – Guida Apple LensVLM
- Base: Qwen3.5-9B-Base di Alibaba, post-addestrato da Apple con fine-tuning supervisionato e poi apprendimento per rinforzo (algoritmo DAPO). Encoder visivo e proiettore restano congelati: si aggiorna solo il modello linguistico.
- Formato: 9B parametri in BF16, circa 18,8 GB di file safetensors, architettura qwen3_5, categoria image-text-to-text.
- Compressione: tre preset, 5×, 10× e 15×, con 72, 48 o 24 token visivi per pagina. Un solo modello copre tutti i livelli.
- Addestramento: tracce sintetiche di uso del tool generate con Qwen3.5-397B su dataset come NQ, HotpotQA, MuSiQue e HELMET. Gli episodi sono limitati a 6 turni e in media il modello espande 1,3 pagine.
- Accuratezza: a compressione 5× (4,3× effettiva) raggiunge il 68,9% di media su sette benchmark di QA, contro il 72,4% della lettura del testo completo e il 31,3% della sola lettura delle immagini compresse.
- Efficienza: su 100 pagine il testo pieno richiede 51.273 token, LensVLM 8.090. La KV cache scende da circa 1.602 MiB a 253 MiB (−84,2%).
La model card indica compatibilità con Transformers, vLLM e SGLang, mentre il repository ufficiale fornisce rendering, loop di inferenza multi-turno e script di valutazione.
4. Quali Mac possono eseguirlo in locale – Guida Apple LensVLM
Entriamo nel vivo della nostra Guida Apple LensVLM. Apple non pubblica un elenco ufficiale di Mac supportati: model card e repository danno solo istruzioni generiche in Python. Quello che si può dire con certezza è che esistono conversioni MLX, il framework di Apple per Apple Silicon, e quantizzazioni GGUF per llama.cpp. Il riferimento è quindi un Mac con Apple Silicon (serie M); i Mac Intel non sono un bersaglio realistico, perché MLX richiede Apple Silicon.
La memoria unificata fa la differenza. Le fasce seguenti sono una nostra stima basata sulle dimensioni dei file, non una specifica Apple:
- 8 GB: sconsigliato. Il GGUF Q4_K_M pesa 5,63 GB, a cui si sommano encoder visivo, KV cache e sistema operativo.
- 16 GB: minimo pratico con quantizzazione a 4 o 8 bit. Una scheda community indica 16 GB o più per caricarlo in LM Studio con i limiti di default.
- 24–32 GB: quantizzazione a 8 bit con margine; il BF16 (18,8 GB) è al limite a 24 GB e più comodo a 32 GB.
- 48 GB e oltre (MacBook Pro Max, Mac Studio): BF16 e documenti lunghi senza compromessi.
Gli strumenti più citati sulle schede della community sono mlx-vlm, LM Studio e llama.cpp.
5. Requisiti di memoria (VRAM) per l’esecuzione locale
Il fabbisogno è la somma di pesi, KV cache e attivazioni dell’encoder visivo. I pesi dominano: 18,8 GB in BF16. La KV cache è invece contenuta, perché il backbone ha solo 8 livelli di full attention e 4 head KV: il paper misura 32 KiB per token, quindi circa 253 MiB per un documento da 100 pagine.
Le quantizzazioni pubblicate dalla community riducono molto l’ingombro: GGUF Q8_0 a 9,53 GB, Q4_K_M a 5,63 GB e Q2_K a 3,83 GB; la versione MLX OptiQ a 4 bit pesa 8,0 GB contro 17,5 GB del BF16. Come regola pratica, nostra e non ufficiale:
- BF16: GPU da 24 GB (classe RTX 3090/4090) oppure 32 GB di memoria unificata su Mac.
- 8 bit: circa 12–16 GB.
- 4 bit: circa 8 GB di GPU o 16 GB di Mac.
Attenzione alla qualità: il modello è addestrato per un compito molto stretto e la stessa scheda MLX avverte che i punteggi delle quantizzazioni del modello base non valgono per LensVLM. Prima di adottare una quantizzazione, misuratela sui vostri documenti.
6. Scopi principali e casi d’uso – Guida Apple LensVLM
- QA su documenti lunghi: contratti, manuali tecnici, report e paper, entro i circa 32K token di testo su cui è stato valutato.
- Documenti multipagina nativi (PDF con layout): con il tool di zoom su immagine ad alta risoluzione, a compressione 15× il modello raggiunge il 41,9% su MMLongBench-Doc contro il 31,1% della lettura diretta. Il testo estratto con OCR perde infatti layout e segnali visivi.
- Codice: trasferimento zero-shot su RepoQA e CodeQueries, con 38,1% a 5× contro 65,6% del testo pieno. Utile come direzione, ancora lontano dal testo.
- Agenti a contesto lungo: meno token significa meno memoria KV per sessione.
- Ricerca sulla compressione visiva del contesto. È lo scopo per cui la licenza lo rilascia (vedi sezione 8).
7. LensVLM e RAG: confronto tecnico
Il paper definisce Expand come un retriever appreso in cui lo stesso VLM fa da indicizzatore, selettore e lettore. La differenza con il RAG si legge su tre assi.
- Meccanismo di riduzione. Il RAG riduce la copertura: tiene le prime k pagine e scarta il resto. LensVLM riduce la fedeltà: renderizza tutto a bassa risoluzione, così conserva una panoramica globale e decide dopo cosa ingrandire.
- Preprocessing. Il RAG richiede un indice offline, chunking e k fissati a priori, spesso con embedding calcolati su GPU. LensVLM richiede solo rendering su CPU e sceglie le pagine dinamicamente, su più turni, in base alla domanda e a quanto già letto.
- Regime d’uso. Per gli autori il retrieval è preferibile quando l’evidenza è concentrata in pochi chunk e il costo dell’indice si ammortizza su molte query. La compressione visiva è preferibile quando l’evidenza è distribuita, quando la fonte è nativamente visiva o quando indicizzare non è praticabile.
Il confronto empirico usa lo stesso lettore (Qwen3.5-9B-Base) per tutti, con livelli di compressione allineati tra pagine recuperate e rapporto di compressione. Accuratezza media sui benchmark di QA, in percentuale:
| Metodo | Preprocessing | 5× / top-5 | 10× / top-3 | 15× / top-2 |
| BM25 | Indice su CPU | 62,5 | 55,7 | 50,8 |
| BGE-M3 | Indice + embedding su GPU | 65,1 | 57,1 | 51,9 |
| Jina-v4 | Indice + embedding su GPU | 64,9 | 57,9 | 52,1 |
| Jina-v4-MM (visuale) | Indice + embedding su GPU | 63,7 | 54,6 | 50,3 |
| ColPali (visuale) | Indice + embedding su GPU | 56,1 | 46,6 | 41,9 |
| LensVLM | Solo rendering su CPU | 68,9 | 62,1 | 52,1 |
LensVLM supera il miglior retriever di circa 3,8 punti a 5× e 4,2 punti a 10×, e pareggia a 15× (52,1%). Il testo completo, come riferimento, vale 72,4%.
Cautele da ingegnere. I test coprono contesti sotto i 32K token con paragrafi distrattori aggiunti; non c’è alcuna prova su corpora da milioni di token. Il paper stesso nota che per i retriever l’indicizzazione è pagata offline, mentre LensVLM deve riprocessare il documento a ogni domanda. Per una knowledge base aziendale grande il RAG resta la scelta ovvia. LensVLM è interessante per il singolo documento o il pacchetto di documenti lungo da interrogare, e gli autori stessi suggeriscono che un retriever economico potrebbe potare i chunk irrilevanti prima del rendering: i due approcci sono complementari.
8. Limitazioni e licenza d’uso
Limitazioni tecniche
- Latenza. Servono più turni di inferenza: scansione e poi espansione. Gli autori dichiarano che il lavoro punta a recuperare accuratezza, non velocità, e lasciano a lavori futuri dispatch parallelo dei tool e cache dell’encoder.
- Accuratezza. 68,9% contro 72,4% del testo pieno. A 15× l’accuratezza di selezione della pagina è del 52,1%: se sceglie la pagina sbagliata, la risposta ne risente.
- Scala del modello. Il comportamento agentico emerge solo a 9B: le varianti 2B e 4B arrivano a 45,5% e 56,3% di accuratezza. Nessun test oltre i 9B.
- Integrazione. Non è un modello di chat plug-and-play. Emette chiamate al tool che la vostra applicazione deve eseguire, con il loop fornito nel repository. Una scheda community nota che risponde come “agente scanner” di pagine anche senza documento.
- Disponibilità. Al momento nessun Inference Provider ospitato lo serve su Hugging Face.
Licenza
I pesi sono rilasciati con la Apple Machine Learning Research Model License. In sintesi, uso, copia, modifica e distribuzione sono consentiti esclusivamente per scopi di ricerca, cioè ricerca scientifica non commerciale. La licenza esclude esplicitamente lo sfruttamento commerciale, lo sviluppo di prodotti e l’uso in qualsiasi prodotto o servizio commerciale. I derivati (fine-tuning, quantizzazioni) ereditano lo stesso limite; chi ridistribuisce deve allegare la licenza, includere l’avviso di attribuzione e dichiarare le modifiche. Il modello è fornito “as is” e Apple può risolvere la licenza in caso di violazione. Il codice del repository è invece sotto la Apple Sample Code License, distinta.
Per un team IT questo significa: valutazione e ricerca sì, produzione no. Anche un proof of concept finalizzato a un prodotto commerciale potrebbe non rientrare nel perimetro. Non siamo consulenti legali: fate leggere il testo integrale al vostro ufficio legale prima di qualsiasi adozione.
9. Prime impressioni dalla community
Una premessa onesta: la ricerca non ha restituito discussioni verificabili su r/LocalLLaMA né su Hacker News (il thread trovato risultava non disponibile), quindi non riportiamo citazioni di singoli utenti. Si possono però leggere i segnali dell’ecosistema Hugging Face, a pochi giorni dal rilascio.
- Reazione rapida: oltre 250 “like” e circa 1.800 download nell’ultimo mese, due Space demo e quantizzazioni GGUF (mradermacher, bartowski) e MLX (mlx-community e altri) già disponibili.
- Prime prove concrete: le schede MLX riportano che il percorso di visione funziona anche in LM Studio con l’API OpenAI-compatibile.
- Cautele diffuse: i tester ricordano che il comportamento “da agente di pagine” è atteso e non un difetto di quantizzazione, e che la validità delle quantizzazioni va misurata sul modello specifico.
La lettura prudente è che il modello generi curiosità da early adopter, soprattutto per il taglio dell’84% della KV cache, ma che mancano ancora feedback da uso reale e benchmark indipendenti.
10. Conclusioni: l’AI corre, la formazione deve starle dietro
Un paper di maggio è diventato un modello scaricabile a settembre, con quantizzazioni per Mac e GPU consumer disponibili in pochi giorni. Il settore dell’intelligenza artificiale cambia in modo continuo e repentino: nel giro di mesi cambiano modelli, licenze, strumenti e buone pratiche. Per un team IT aziendale non esiste alternativa all’aggiornamento costante, e LensVLM ne è un esempio perfetto: tecnicamente promettente, giuridicamente vincolato, da valutare con metodo.
In questo percorso Innovaformazione affianca le aziende con un’offerta formativa sull’AI Generativa. Il catalogo include Agenti AI ed MCP, AI in Azienda, Claude Code per sviluppatori, Conversation Design con AI Generativa, Generative AI Engineering & MLOps, GitHub Copilot per sviluppatori, Integrare modelli OpenAI nelle applicazioni, Multimodal Generative AI, Sviluppo AI Apps con Azure OpenAI e Sviluppo Applicazioni LLM. L’elenco completo è qui:
Formazione gratuita con Fondimpresa. Le aziende aderenti a Fondimpresa possono finanziare la formazione dei dipendenti e, nel rispetto dei requisiti del fondo, ottenerla senza costi diretti. Maggiori informazioni sulla formazione finanziata QUI.
Contatti
Scrivi a info@innovaformazione.net oppure chiama Dario Carrassi al 347 1012275 per costruire un percorso su misura per il tuo team.
Per altri articoli tecnici e di settore e sempre aggiornati consigliamo di navigare sul nostro blog QUI.
Articoli correlati
Claude Code con Arduino
Novità .Net 11
Backdoor nei modelli AI open-weight
Opportunità di lavoro Bari
Spieghiamo il Weight space programming
