Guida Unsloth AI Locale

Guida Unsloth AI Locale

Guida Unsloth AI Locale

Unsloth Studio è un’interfaccia web open source, oggi in versione Beta, che permette di eseguire, addestrare ed esportare modelli di intelligenza artificiale interamente in locale. In questa guida scoprirete cosa offre, come si confronta con Ollama e LM Studio, come installarlo e come costruire, passo dopo passo, un assistente per l’helpdesk IT aziendale senza che nessun dato lasci i vostri server.

Per rendere tutto concreto seguiremo Marta, responsabile IT di Rossi Logistica, azienda di fantasia con 300 dipendenti. Ogni lunedì mattina il suo helpdesk si sveglia con decine di ticket quasi identici: VPN che non si connette, password scadute, stampanti che non rispondono. Il direttore ha una regola chiara: nessun dato aziendale su servizi cloud di terzi. Marta ha bisogno di un assistente che giri in casa.

Indice dei contenuti – Guida Unsloth AI Locale

1. Cos’è Unsloth Studio e perché se ne parla

2. Le caratteristiche principali

3. Perché è ottimo per l’AI locale

4. Confronto con Ollama e LM Studio

5. Requisiti hardware e software

6. Installazione passo dopo passo

7. Primo utilizzo: dal download del modello alla prima chat

8. Esempio pratico enterprise: l’assistente per l’helpdesk IT

9. Le Unsloth API

10. Unsloth Studio Chat: a cosa serve e come integrarla

11. Best practice per l’addestramento

12. I limiti di Unsloth

13. Conclusioni e formazione professionale

1. Cos’è Unsloth Studio e perché se ne parla

Iniziamo la nostra Guida Unsloth AI Locale. Unsloth nasce come libreria per rendere il fine-tuning dei modelli linguistici più veloce e meno vorace di memoria. Unsloth Studio è il passo successivo: secondo la documentazione ufficiale è un’interfaccia no-code, open source e in Beta, che riunisce in un unico ambiente locale l’esecuzione, l’addestramento e l’esportazione dei modelli aperti. Funziona su Mac, Windows e Linux e oggi esiste anche Unsloth Desktop, un’app nativa che semplifica l’installazione.

Pensatela come un banco da lavoro. Prima, per portare un modello in azienda servivano un runner, uno script Python per l’addestramento, un convertitore di formati e un’interfaccia di chat. Studio mette tutto sullo stesso tavolo. Il progetto dichiara di addestrare oltre 500 modelli con velocità doppia e il 70% di VRAM in meno, senza perdita di accuratezza: sono dati del produttore, quindi verificateli sul vostro hardware prima di basarci un budget.

Per Marta il punto è semplice: un solo strumento per partire da un modello generico e arrivare a un assistente che parla la lingua dell’azienda.

2. Le caratteristiche principali – Guida Unsloth AI Locale

Le funzioni descritte nella documentazione ufficiale si raccolgono in otto aree:

  • Esecuzione locale. Modelli GGUF, safetensors e adattatori LoRA, MLX su Mac, più modelli di diffusione per immagini e video. Ricerca e download direttamente da Hugging Face.
  • Addestramento no-code. QLoRA, LoRA e full fine-tuning su modelli di testo, visione, audio ed embedding, con configurazioni salvabili in YAML.
  • Data Recipes. Trasformano PDF, CSV, JSON, DOCX e TXT in dataset tramite un flusso a nodi, basato su NVIDIA NeMo Data Designer.
  • Osservabilità. Loss, gradient norm e utilizzo della GPU in tempo reale, consultabili anche da un altro dispositivo.
  • Esportazione. GGUF, safetensors a 16 bit o solo adattatore LoRA, per llama.cpp, vLLM, Ollama e LM Studio.
  • Chat evoluta. Tool calling auto-correttivo, ricerca web, esecuzione di codice in sandbox e confronto affiancato tra modelli.
  • API. Endpoint compatibili con OpenAI e Anthropic, protetti da chiavi dedicate.
  • Privacy. Uso completamente offline, nessuna telemetria d’uso (vengono raccolte solo informazioni minime sull’hardware per la compatibilità) e autenticazione con password cifrata e token JWT.

3. Perché è ottimo per l’AI locale – Guida Unsloth AI Locale

Quando Marta presenta il progetto alla direzione, le domande sono sempre le stesse: dove finiscono i dati, quanto costa, quanto restiamo dipendenti da un fornitore. Unsloth Studio risponde bene a tutte e tre.

  • Dati in casa. Tutto può girare offline sulla vostra macchina. Questo semplifica la gestione di riservatezza e conformità, ma non sostituisce una valutazione GDPR fatta dalle persone competenti.
  • Costi prevedibili. Nessun pagamento a token: l’investimento è l’hardware, non il volume di richieste.
  • Un’unica catena di lavoro. Dal dataset al modello personalizzato, senza saltare tra cinque strumenti.
  • Nessun lock-in. I modelli esportati funzionano con altri runtime e le API sono compatibili con gli SDK più diffusi.
  • Accessibile. Chat e Data Recipes funzionano anche senza GPU, e su Mac sono supportati addestramento e inferenza MLX.
  • Licenza chiara. Il pacchetto principale è Apache 2.0, mentre alcuni componenti opzionali, come l’interfaccia Studio, sono AGPL-3.0. Fate leggere la licenza al vostro ufficio legale prima di integrarlo in prodotti distribuiti.

4. Confronto con Ollama e LM Studio

Il confronto va letto con un’avvertenza: non sono rivali puri. Unsloth Studio esporta in GGUF proprio per essere eseguito anche da Ollama e LM Studio. La tabella riassume le differenze secondo le rispettive documentazioni ufficiali.

AspettoUnsloth StudioOllamaLM Studio
InterfacciaWeb UI locale e app DesktopRiga di comando e API RESTApp desktop, CLI (lms) e daemon headless (llmster)
Esecuzione modelliGGUF, safetensors, MLX, LoRALibreria modelli, import GGUF e safetensorsGGUF e MLX, browser Hugging Face integrato
Fine-tuning integratoSì: QLoRA, LoRA, fullNon integratoNon integrato
Preparazione datasetData Recipes da PDF, CSV, DOCXNoNo
APIOpenAI e Anthropic compatibili, chiavi sk-unslothREST e sottoinsieme OpenAI (porta 11434)OpenAI e Anthropic compatibili, REST (porta 1234)
LicenzaCore Apache 2.0, interfaccia Studio AGPL-3.0Open sourceApp proprietaria, gratuita anche al lavoro dal luglio 2025
Ideale perPersonalizzare, valutare ed esportare modelliServire modelli in modo semplice e scriptabileEsplorare e usare modelli con interfaccia grafica

In sintesi: Ollama è il più essenziale per servire modelli da script e servizi, LM Studio è il più comodo per esplorare e per chi preferisce l’interfaccia grafica, Unsloth Studio è l’unico dei tre con addestramento e preparazione dei dati integrati. Nella pratica aziendale i tre si combinano: Marta personalizza il modello con Studio e poi sceglie dove servirlo.

5. Requisiti hardware e software

Entriamo sui requisiti per la nostra Guida Unsloth AI Locale. I requisiti dipendono da ciò che volete fare. Per la sola chat basta anche una CPU; per addestrare serve una GPU compatibile.

  • Windows: Windows 10 o 11 a 64 bit, driver NVIDIA per l’addestramento, Git e Python da 3.11 fino a 3.13.
  • Linux e WSL: Ubuntu 20.04 o equivalente, driver NVIDIA, CUDA toolkit 12.4 o superiore (12.8 per le GPU Blackwell), Git e Python da 3.11 a 3.13. Su WSL i driver NVIDIA vanno installati su Windows e il CUDA toolkit dentro la distribuzione.
  • macOS: versione 12 o successiva, Intel o Apple Silicon, con chat, MLX e addestramento supportati dalla documentazione attuale.
  • Solo CPU: funzionano Chat per modelli GGUF e Data Recipes, non l’addestramento.
  • Spazio disco: i modelli e i loro export occupano molti gigabyte; prevedete decine di GB liberi.

La documentazione indica supporto all’addestramento su NVIDIA e riferimenti anche a GPU AMD e Intel tramite guide dedicate: se il vostro parco macchine non è NVIDIA, controllate lo stato aggiornato prima di acquistare hardware.

6. Installazione passo dopo passo

Entriamo nel pratico con la nostra Guida Unsloth AI Locale. L’installazione è volutamente breve. Ecco la via più rapida e le alternative.

Passo 1 – Scegliete il metodo. Il modo più semplice è scaricare l’app Unsloth Desktop per il vostro sistema. Se preferite il terminale, usate lo script ufficiale.

# macOS, Linux e WSL

curl -fsSL https://unsloth.ai/install.sh | sh

# Windows (PowerShell)

irm https://unsloth.ai/install.ps1 | iex

Gli stessi comandi servono per aggiornare. Su WSL vi verrà chiesta la password sudo per installare le dipendenze di compilazione. In alternativa esiste l’immagine Docker unsloth/unsloth, utile per server e ambienti riproducibili:

docker run -d -e JUPYTER_PASSWORD="mypassword" \

  -p 8888:8888 -p 8000:8000 -p 2222:22 \

  -v $(pwd)/work:/workspace/work \

  --gpus all \

  unsloth/unsloth

Passo 2 – Avviate Studio. Se non lo avete fatto partire durante l’installazione, lanciate il comando e aprite il browser su http://127.0.0.1:8888. Al primo accesso create una password.

unsloth studio -p 8888

Passo 3 – Decidete come esporlo. Per impostazione predefinita Studio ascolta solo su localhost. Per raggiungerlo da altri dispositivi la documentazione consiglia l’opzione sicura, che pubblica Studio solo tramite un tunnel HTTPS Cloudflare gratuito e non si avvia se il tunnel non parte:

unsloth studio --secure -p 8888

L’alternativa -H 0.0.0.0 apre la porta su tutte le interfacce di rete e va usata solo su reti fidate. Gli strumenti lato server (ricerca web, esecuzione di codice) girano con i permessi del vostro utente: se esponete Studio, aggiungete –disable-tools.

Se qualcosa non va, la documentazione elenca i problemi tipici: nvidia-smi non trovato (driver mancanti), nvcc non trovato (CUDA toolkit), oppure compilazione di llama-server fallita, che si risolve installando cmake e rieseguendo il setup.

7. Primo utilizzo: dal download del modello alla prima chat

Marta apre Studio e si trova nella pagina Chat. In alto a sinistra c’è il menu di selezione del modello: da lì cerca su Hugging Face, sceglie un repository GGUF e una quantizzazione adatta alla memoria disponibile. La documentazione ufficiale usa come esempio un modello Gemma con la variante consigliata UD-Q4_K_XL. Un clic e parte il download, poi il caricamento in memoria.

Da quel momento può dialogare con il modello, allegare documenti, immagini o audio, attivare o disattivare il ragionamento e la ricerca web, regolare temperatura, top-p e prompt di sistema. Se aveva già scaricato modelli da Hugging Face o LM Studio, Studio li rileva automaticamente e consente di scegliere una cartella esistente.

La parte di addestramento vive in un’altra area, divisa in quattro blocchi: Model, Dataset, Parameters, Training/Config. È la stessa che useremo nell’esempio che segue.

8. Esempio pratico enterprise: l’assistente per l’helpdesk IT

Marta ha un obiettivo preciso: un assistente di primo livello che risponda in italiano su VPN, account Microsoft 365, stampanti e posta, indichi la procedura interna corretta, proponga categoria e priorità del ticket e, quando non sa, passi la mano a un operatore. Hardware di partenza: un server con una GPU NVIDIA da 24 GB di VRAM, una stima prudente per addestrare in QLoRA un modello da 8–9 miliardi di parametri.

Fase 1 – Dati e perimetro. Il team esporta dal sistema di ticketing 12–18 mesi di ticket chiusi in CSV e raccoglie le procedure IT in PDF e DOCX. Prima di qualsiasi altra cosa si anonimizzano nomi, email, indirizzi IP e matricole, e si escludono password e dati sensibili. Questa fase spetta alle persone, non allo strumento, ed è quella che decide la qualità dell’intero progetto.

Fase 2 – Data Recipes. In Studio si crea una nuova ricetta: come seed si caricano il CSV dei ticket e i documenti delle procedure, che vengono spezzettati in righe. Un blocco LLM genera coppie domanda e risposta in italiano con tono e formato fissati dal prompt, un altro estrae in campi strutturati categoria e priorità. Si usa Validate, poi Preview per ispezionare alcune righe, e solo quando il risultato convince si lancia la build completa. Come modello generatore si sceglie uno locale, così nulla esce dall’azienda. Un revisore umano controlla un campione di almeno un centinaio di esempi.

Fase 3 – Configurazione. Nell’area di addestramento: tipo Text, metodo QLoRA (4 bit, il più parco di VRAM), un modello instruct da 8–9 miliardi di parametri tra quelli citati dai tutorial ufficiali. Il dataset si carica dalla scheda Local, con formato Auto o ChatML, tenendo da parte circa il 10% degli esempi per la validazione. Per la prima prova Marta lascia i default (learning rate 2e-4, rank 16, alpha 32), riduce le epoche da 3 a 2 e porta il context length a 4096 perché alcuni ticket sono lunghi. Poi salva la configurazione in YAML e la versiona su Git.

Fase 4 – Addestramento. Con Start Training parte il run. Marta osserva loss, learning rate, gradient norm e occupazione della GPU. Se la loss di training continua a scendere mentre quella di validazione risale, è overfitting: Stop & Save salva un checkpoint e si ripensa il dataset o il numero di epoche.

Fase 5 – Valutazione. Con Compare in Chat (Model Arena) lo stesso prompt viene inviato al modello base e a quello addestrato. Marta usa 30–50 domande reali mai viste durante l’addestramento e un criterio scritto in anticipo: procedura corretta, lingua e tono, capacità di dire “non lo so”, formato della risposta. I risultati finiscono in un foglio condiviso.

Fase 6 – Esportazione. Dalla sezione Export si sceglie il checkpoint e il formato: GGUF per l’inferenza locale, modello unito a 16 bit per vLLM, oppure solo adattatore LoRA. Per il GGUF la documentazione cita q4_k_m come scelta usuale per l’uso locale e q8_0 per una qualità prossima alla piena precisione. Attenzione al chat template: dopo l’export va usato lo stesso con cui il modello è stato addestrato, altrimenti si vedono risposte sconclusionate o infinite.

Fase 7 – Messa in servizio. Il modello si carica dalla scheda Fine-tuned, si crea una chiave API in Settings → API e il portale di ticketing viene puntato all’endpoint. Per carichi con molte richieste contemporanee, il team valuta un server dedicato: Studio può comunque collegarsi a vLLM e ad altri server di modelli.

Fase 8 – Governance. Le procedure che cambiano spesso restano fuori dai pesi del modello e vanno gestite con un sistema di recupero documentale (RAG). Il modello viene riaddestrato a cadenza regolare, le risposte vengono registrate e gli operatori possono segnalarne gli errori, che alimentano il dataset successivo.

Dopo tre settimane Marta ha un assistente che risponde bene alle richieste ripetitive e un team che ha imparato a misurare cosa funziona. Ma soprattutto ha un processo ripetibile.

9. Le Unsloth API – Guida Unsloth AI Locale

Le Unsloth API trasformano il modello caricato in un servizio. Secondo la documentazione ufficiale i modelli, GGUF inclusi, sono esposti come API autenticata tramite llama-server, con due “dialetti” sulla stessa porta: endpoint compatibili OpenAI (/v1/chat/completions, /v1/responses) e compatibile Anthropic (/v1/messages). Sono disponibili anche embeddings, elenco modelli, conteggio token e, con modelli adatti, generazione di immagini, audio e video.

La chiave si crea dall’avatar in basso a sinistra, Settings → API, con un nome e una scadenza opzionale. Ha il prefisso sk-unsloth-, viene mostrata una sola volta, può essere revocata in qualsiasi momento (una chiave revocata riceve 401) e va trattata come una password. Da riga di comando si può caricare un modello e ottenere endpoint e chiave in un solo passaggio:

unsloth run --model unsloth/gemma-4-26B-A4B-it-GGUF:UD-Q4_K_XL

Una richiesta di prova dal portale di Marta, con l’identificativo del modello preso da GET /v1/models:

curl http://localhost:8888/v1/chat/completions \

  -H "Authorization: Bearer sk-unsloth-xxxxxxxx" \

  -H "Content-Type: application/json" \

  -d '{

    "model": "NOME_MODELLO",

    "messages": [

      {"role": "system", "content": "Sei l’assistente helpdesk IT di Rossi Logistica. Rispondi in italiano."},

      {"role": "user", "content": "La VPN non si connette da casa, cosa controllo?"}

    ]

  }'

Ci sono alcuni dettagli da conoscere. Il pannello API monitor mostra in tempo reale richieste, errori, latenza e token. Gli strumenti lato server (Python, bash, ricerca web) sono attivi di default solo su localhost e disattivati se il server è esposto su 0.0.0.0, perché una chiave trafugata significherebbe esecuzione di codice sull’host. Attraverso un tunnel Cloudflare gli eventi in streaming non sopravvivono, quindi in quel caso si imposta stream: false. L’interfaccia /docs sul server locale mostra la documentazione interattiva della vostra versione. Infine, il comando unsloth start collega agenti come Claude Code, Codex o OpenCode ai modelli locali.

10. Unsloth Studio Chat: a cosa serve e come integrarla

Unsloth Studio Chat è la parte di Studio dedicata a usare i modelli: un’interfaccia in cui scaricare, eseguire, confrontare e interrogare modelli locali. Serve a tre scopi in azienda: dare ai colleghi un assistente privato senza dipendere da servizi esterni, provare e valutare modelli prima di adottarli, e verificare in modo ripetibile il risultato di un fine-tuning.

  • Model Arena. Due modelli, per esempio base e addestrato, rispondono allo stesso prompt affiancati. Oggi l’inferenza parte prima su uno e poi sull’altro, l’esecuzione parallela è in lavorazione.
  • Tool calling auto-correttivo. Studio ripara le chiamate a strumenti malformate. Il produttore dichiara una riduzione degli errori del 50% e riporta un test su 10 esecuzioni con un modello piccolo: dati interessanti ma da riprodurre nei vostri casi.
  • Ricerca web e codice. La ricerca visita davvero le pagine, usando le API private di DuckDuckGo, e il codice Bash o Python gira in una sandbox. Se i dati sono sensibili, valutate se attivarle.
  • Allegati e parametri. PDF, DOCX, immagini, audio e codice come contesto; parametri di generazione preimpostati per i modelli più recenti e modificabili, insieme al prompt di sistema e al chat template.
  • Multi-GPU. L’inferenza sfrutta più GPU in automatico.

Per integrarla ci sono tre strade. La prima è l’uso diretto: i colleghi aprono Studio dal browser, in sicurezza tramite –secure o in una rete interna fidata. La seconda è l’API: la stessa chat diventa un servizio per portali, bot e script, con gli SDK compatibili. La terza è collegare provider e server esterni: Studio può parlare con OpenAI, Anthropic, Ollama, llama.cpp o vLLM, usando la stessa interfaccia per modelli locali e remoti, utile per confrontare un modello interno con uno cloud sullo stesso prompt.

11. Best practice per l’addestramento – Guida Unsloth AI Locale

Il fine-tuning ha una regola d’oro che Marta ha scritto sulla lavagna: vogliamo un modello che generalizzi, non che memorizzi. Ecco come tradurla in pratica, in linea con la guida ufficiale agli iperparametri LoRA.

  • Partite dai default. Unsloth li sceglie sulla base di esperimenti e ricerche; cambiate un parametro alla volta e solo con un motivo.
  • Pochi cicli. Per la maggior parte dei dataset istruzionali la guida raccomanda 1–3 epoche: oltre, i benefici calano e il rischio di overfitting cresce.
  • Learning rate di partenza 2e-4 per LoRA e QLoRA, più basso per il full fine-tuning.
  • QLoRA prima, LoRA dopo. QLoRA usa circa un quarto della VRAM con una perdita minima di precisione; passate a LoRA a 16 bit quando serve la massima qualità.
  • LoRA su tutti i livelli lineari. I target module attivi di default sono la scelta consigliata.
  • Qualità prima della quantità. Pochi esempi puliti e coerenti battono molti esempi rumorosi. Revisione umana a campione e anonimizzazione sono obbligatorie.
  • Tenete da parte validazione e test. Usate l’eval split per vedere l’overfitting, e un set di domande reali mai viste per il collaudo finale.
  • Confrontate sempre con il modello base nella Model Arena: se non migliora, non va in produzione.
  • Stesso chat template ovunque. Quasi tutti i casi di risultati peggiori dopo l’export dipendono da qui.
  • Versionate tutto. Configurazioni YAML, dataset e checkpoint su repository, con un nome e una data per ogni run.

12. I limiti di Unsloth – Guida Unsloth AI Locale

Uno strumento onesto si presenta anche con i suoi limiti. Quelli di Unsloth Studio, alla data della documentazione consultata (novembre 2026), sono questi:

  • È in Beta. Funzioni, interfaccia e comandi cambiano in fretta; fissate una versione e testate gli aggiornamenti prima di applicarli in produzione.
  • Addestramento legato all’hardware. Il percorso più maturo è quello su GPU NVIDIA; Mac con MLX è supportato, ma verificate lo stato di AMD e Intel. Senza GPU restano Chat e Data Recipes.
  • I GGUF non si addestrano. I modelli in formato GGUF sono solo per l’inferenza; per addestrare servono i pesi originali, e i modelli con accesso limitato richiedono un token Hugging Face.
  • Multi-GPU in evoluzione. Funziona in automatico, ma una versione nuova è annunciata; il confronto tra modelli è sequenziale, non parallelo.
  • Prestazioni variabili. Ricerca web, esecuzione di codice e tool calling possono rallentare l’inferenza.
  • Sicurezza da gestire. Gli strumenti lato server eseguono codice con i permessi dell’utente: chiavi API protette, tool disattivati se esposto, rete controllata.
  • Licenza. L’interfaccia Studio è AGPL-3.0: fate valutare l’impatto a chi si occupa di compliance, soprattutto se pensate di distribuirla.
  • Non è una piattaforma di produzione a larga scala. Nella documentazione consultata non risultano funzioni enterprise come gestione ruoli o SSO; per molti utenti contemporanei valutate un server di inferenza dedicato.
  • Il fine-tuning non ripara dati sbagliati. Un dataset povero produce un modello povero, e la conoscenza che cambia spesso va affidata al recupero documentale.

13. Conclusioni e formazione professionale

Torniamo da Marta. Il lunedì mattina successivo la coda di ticket è la stessa, ma metà delle richieste trova risposta prima ancora di arrivare a un operatore, e nessun dato è uscito dall’azienda. Il risultato non è magia: è un team che ha saputo scegliere il modello, preparare i dati, misurare la qualità e mettere in sicurezza il servizio.

È la lezione per le aziende italiane: l’AI locale non va sottovalutata. Oggi è una leva concreta per riservatezza, costi prevedibili e autonomia tecnologica, e strumenti come Unsloth Studio abbassano sensibilmente la barriera d’ingresso. Ma gli strumenti non bastano: è importantissimo che il proprio team IT sappia implementare un sistema di AI locale, gestirlo nel tempo e valutarlo con metodo, riconoscendone limiti e rischi.

Per questo Innovaformazione propone i Corsi di AI Generativa rivolti alle aziende, e in particolare il Corso sviluppo applicazioni LLM, pensato per chi deve portare i modelli linguistici dentro i processi aziendali. I corsi vengono attivati su richiesta per le aziende, in modalità online in classe virtuale, con calendario da concordare. Per la formazione dei dipendenti è inoltre possibile accedere a fondi dedicati come Fondimpresa, previa verifica dei requisiti.

Richiedi un preventivo

Per informazioni e preventivi sui corsi aziendali scrivete o chiamate: info@innovaformazione.net – tel. 3471012275 – Dario Carrassi.

Per altri articoli tecnici di settore consigliamo di navigare sul nostro blog QUI.

(fonte) (fonte) (fonte) (fonte)

Ti potrebbe interessare

Articoli correlati