Cosa è DeepSeek v3

Cosa è DeepSeek v3

DeepSeek sta creando scalpore nella comunità AI con il suo ultimo modello, DeepSeek-V3. Parliamo della start up cinese che ha progettato il modello AI open source che, stando ai test è anche più potente di ChatGPT di OpenAI. Non si tratta quindi di un’altra AI come tante; è una forza potente che sta attivamente superando molti modelli AI di alto livello , in particolare quelli a proprietari. Dimentica l’idea di un’AI open source come tante altre: DeepSeek-V3 sta stabilendo un nuovo punto di riferimento e tracciando la propria strada.

‍

Ciò che rende DeepSeek-V3 davvero unico è la sua notevole velocità ed efficienza , elaborando informazioni a ben 60 token al secondo , un aumento di tre volte rispetto al suo predecessore. Ma non è solo potente nella velocità; è anche una potenza versatile in grado di gestire attività complesse, dalla codifica e matematica all’elaborazione di testo , dimostrandosi uno strumento poliedrico nel regno digitale.

‍

Forse la cosa più sorprendente è che DeepSeek-V3 è completamente open source e gratuito . Disponibile tramite un’API, un sito Web di chat o per l’implementazione locale, insieme al suo prezzo incredibilmente competitivo, è posizionato per essere la soluzione ideale per chiunque cerchi un’intelligenza artificiale all’avanguardia senza spendere una fortuna.

‍

‍

I. Architettura e dettagli tecnici di DeepSeek V3
‍

Architettura Mixture-of-Experts (MoE)
DeepSeek-V3 impiega un’architettura Mixture-of-Experts (MoE) , che è un fattore chiave per le sue prestazioni ed efficienza . Questa architettura è composta da più reti neurali , ciascuna specificamente ottimizzata per diverse attività.

‍

Quando DeepSeek-V3 riceve un prompt, un componente chiamato router indirizza in modo intelligente la richiesta alla rete neurale più adatta a gestirla. Questa attivazione selettiva delle reti neurali è ciò che rende l’architettura MoE così efficiente , poiché riduce i costi hardware utilizzando solo le risorse necessarie per un dato compito. Ognuna di queste singole reti neurali all’interno della struttura MoE ha 34 miliardi di parametri .

‍

Parametri
DeepSeek-V3, un vero e proprio colosso nel mondo dell’intelligenza artificiale, vanta un totale di 671 miliardi di parametri , una cifra che si riduce leggermente a 37 miliardi di parametri attivi per ogni token durante l’elaborazione, quasi come se impegnasse selettivamente la sua potenza. Tuttavia, quando si accede tramite la piattaforma Hugging Face , le dimensioni colossali del modello si espandono misteriosamente a 685 miliardi di parametri , una sottile differenza attribuita all’aggiunta dei pesi del modulo Multi-Token Prediction (MTP) .

‍

Gli impressionanti 671 miliardi di parametri del modello principale sono poi rafforzati dal modulo MTP, che aggiunge altri 14 miliardi al suo peso, raggiungendo così il numero apparentemente impossibile di 685 miliardi ; in una sorprendente dimostrazione di scala, ciò significa che DeepSeek-V3 è circa 1,6 volte più grande del già massiccio modello Llama 3.1 405B di Meta, un confronto che mette davvero in prospettiva la sua grandezza.

‍

Dati di addestramento
Le impressionanti capacità del modello sono supportate dalla grande quantità di dati su cui è stato addestrato. DeepSeek-V3 è stato addestrato su un set di dati di 14,8 trilioni di token . In particolare, nella scienza dei dati, i token vengono utilizzati per rappresentare bit di dati grezzi, con 1 milione di token che equivalgono a circa 750.000 parole .

‍

Attenzione latente multi-testa (MLA)
DeepSeek-V3 utilizza una tecnica chiamata attenzione latente multi-testa (MLA), che è una versione migliorata del meccanismo di attenzione comunemente utilizzato nei grandi modelli linguistici. I meccanismi di attenzione aiutano i modelli a identificare le parti più importanti di una frase. MLA migliora questo consentendo al modello di estrarre dettagli chiave da un pezzo di testo più volte anziché una sola volta. Ciò significa che è meno probabile che il modello tralasci informazioni cruciali, il che lo rende più accurato.

‍

Previsione multi-token
I tipici modelli linguistici generano testo un token alla volta. Tuttavia, al contrario, DeepSeek-V3 genera diversi token contemporaneamente . Questa funzionalità di previsione multi-token velocizza notevolmente il processo di inferenza , ovvero il tempo impiegato dal modello per generare testo. Inoltre, questo metodo può essere utilizzato anche per la decodifica speculativa , che può accelerare ulteriormente l’inferenza.

‍

Quadro di addestramento di precisione mista FP8
DeepSeek-V3 è stato addestrato utilizzando un framework di addestramento di precisione mista FP8 . Questa è stata la prima volta che questo framework è stato utilizzato su un modello su così larga scala e ha dimostrato di essere sia fattibile che efficace . FP8 (8-bit floating point) è un formato numerico più compatto dei soliti formati a 16 o 32 bit. Ciò significa che richiede meno memoria e può accelerare significativamente il calcolo.

‍

Efficienza di training
Il processo di training di DeepSeek-V3 è stato notevolmente efficiente . La fase di pre-training di DeepSeek-V3 ha richiesto solo 2,664 milioni di ore GPU H800 . Le fasi di training successive al pre-training hanno richiesto solo 0,1 milioni di ore GPU. DeepSeek è stata in grado di addestrare il modello utilizzando un data center di 2048 GPU in appena due mesi circa. L’azienda afferma di aver speso solo 5,5 milioni di $ per addestrare DeepSeek-V3. Si tratta di un costo notevolmente inferiore rispetto ad altri modelli simili.

‍

Ad esempio, Llama 3 405B ha utilizzato 30,8 milioni di ore GPU, circa 11 volte il calcolo di DeepSeek-V3. Questo risultato dimostra che è possibile addestrare grandi modelli linguistici con meno calcolo di quanto si pensasse in precedenza, il che potrebbe aprire la porta a uno sviluppo di IA più efficiente e conveniente. L’approccio di DeepSeek evidenzia come i progressi negli algoritmi e nei dati possano ridurre la necessità di cluster GPU molto grandi.

‍

Capacità di ragionamento
DeepSeek ha anche incorporato capacità di ragionamento avanzate in DeepSeek-V3. Il modello distilla le sue capacità di ragionamento dalla serie di modelli DeepSeek R1 . La pipeline di DeepSeek integra i pattern di verifica e riflessione di R1 in DeepSeek-V3. Ciò si traduce in prestazioni di ragionamento migliorate per DeepSeek-V3.

‍

Ora che abbiamo esplorato le basi tecniche di DeepSeek V3, concentriamoci sulle sue prestazioni e sui risultati dei benchmark, per vedere come queste innovazioni tecniche si traducono in funzionalità concrete.

‍

‍

II. Prestazioni e parametri di riferimento
‍

I numeri sono arrivati ​​e DeepSeek-V3 non è solo impressionante, è un serio contendente. Non si accontenta di eguagliare altri modelli: sta attivamente superando molte alternative open source e persino tenendo testa ai principali concorrenti closed source. E, come detto, è anche fulmineo, elaborando 60 token al secondo, il che è tre volte più veloce di DeepSeek V2 .

‍

DeepSeek-V3 incorpora funzionalità avanzate che ne migliorano le prestazioni.

Utilizza un’architettura Mixture-of-Experts (MoE) con 671 miliardi di parametri, con 37 miliardi attivati ​​per token . Ciò consente un’elaborazione efficiente attivando solo una porzione della rete per ogni attività.
Utilizza la tecnologia Multi-head Latent Attention (MLA) per estrarre più volte i dettagli chiave dal testo, migliorandone l’accuratezza.
Incorpora anche la Multi-Token Prediction per generare più token contemporaneamente, il che velocizza l’inferenza.
‍

Il modello è stato addestrato su 14,8 trilioni di token e mostra ottime prestazioni in vari benchmark.

‍

DeepSeek-V3 dimostra la sua forte attitudine per le sfide di programmazione competitive, superando Claude-3.5 Sonnet nel benchmark Codeforces. Eccelle nel test Aider Polyglot , mostrando la sua capacità di integrare il nuovo codice con il codice esistente. Possiamo dire dai risultati che i migliori performer sono:

o1-2024-11-12 (Tingli) guida il benchmark con una precisione di quasi il 65% nell’intero formato, dimostrando prestazioni eccezionali in tutte le attività.
Seguono da vicino DeepSeek Chat V3 Preview e Claude-3.5 Sonnet-2024-1022 , con punteggi compresi tra il 40 e il 50%, dimostrando un solido completamento delle attività in entrambi i formati.
‍

‍

DeepSeek V3 ottiene anche un punteggio di 88,5 nel benchmark MMLU, leggermente dietro Llama3.1 , ma superando Qwen2.5 e Claude-3.5 Sonnet . Ottiene anche un punteggio di 91,6 nel benchmark DROP, superando gli stessi modelli, dimostrando le sue forti capacità di ragionamento.

‍

Il modello è in grado di elaborare finestre di contesto di lunghezza fino a 128K e incorpora anche l’FP8 Mixed Precision Training per un addestramento più efficiente.

‍

Confronto tra DeepSeek V3 e altri modelli
‍

Le prestazioni di DeepSeek V3 sono impressionanti, ma per essere davvero utile, un modello AI deve essere accessibile. La prossima sezione esplorerà come DeepSeek V3 viene reso disponibile agli utenti.

‍

‍

III. Accessibilità e utilizzo
‍

Le prestazioni contano poco se un modello è rinchiuso dietro un muro impenetrabile. Fortunatamente, DeepSeek-V3 dà priorità all’accessibilità:

‍

• Open Source: puoi prendere il codice e modificarlo a tuo piacimento su GitHub, e i pesi del modello sono facilmente disponibili su Hugging Face . Ciò significa che può essere utilizzato per una pletora di applicazioni, compresi progetti commerciali.
  ‍
• Accesso API: DeepSeek offre un’API compatibile con l’API di OpenAI, semplificando l’integrazione con i sistemi esistenti.
  ‍
• Sito web della chat: puoi andare sul sito web di DeepSeek e chattare direttamente con V3, senza bisogno di scrivere codice o di usare API .
  ‍
• Deep Roles: pensateli come compagni AI personalizzati: Deep Roles consentirà agli utenti di creare i propri ruoli o di esplorare quelli creati da altri, in modo simile ai GPT personalizzati .
  ‍

Puoi anche distribuire DeepSeek-V3 localmente . Si consiglia di utilizzare 8 GPU H200s, ma può essere distribuito su altri hardware, tra cui NVIDIA, AMD e Huawei Ascend. Molte opzioni software open source ti consentono di farlo, come DeepSeek-Infer Demo, SGLang, LMDeploy, TensorRT-LLM e vLLM. Ciò dimostra la sua adattabilità su diverse piattaforme.

‍

DeepSeek-V3 eccelle anche in vari compiti basati sul testo. È eccellente per la codifica, le traduzioni e la generazione di contenuti. Tutti questi compiti sono resi possibili dalla sua efficienza nell’elaborazione del testo.

‍

‍

IV. Costi di inferenza
‍

La struttura dei prezzi dell’API rispecchia quella di DeepSeek V2 fino all’8 febbraio 2025. Dopodiché, il prezzo sarà fissato a:

Input : $ 0,27 per milione di token (cache miss)
Input : $ 0,07 per milione di token (cache hit)
Output : $ 1,10 per milione di token
‍

Per dirla in parole povere, DeepSeek è molto più conveniente di modelli come Claude 3.5 Sonnet, GPT-4o e Gemini 1.5 Pro . Infatti, DeepSeek V3 è 53 volte più economico da usare per l’inferenza rispetto a Claude Sonnet! Su OpenRouter , costa solo $ 0,14 per l’input e $ 0,28 per l’output.

V. Limitazioni
‍

DeepSeek-V3, a causa delle normative cinesi, evita argomenti politicamente sensibili . Non otterrai risposte su:

• Piazza Tienanmen
• Xi Jinping
• Le implicazioni geopolitiche dell’invasione cinese di Taiwan‍

Ciò è dovuto alle normative cinesi che richiedono che i modelli “incarnino i valori socialisti fondamentali”. Inoltre, non è immune al “jailbreaking”, il che significa che coloro che hanno le competenze possono aggirare le misure di sicurezza.

‍

È importante notare che queste restrizioni non sono esclusive di DeepSeek-V3, ma sono una caratteristica comune dei modelli di IA sviluppati in Cina. Ciò è dovuto all’ambiente politico e normativo in cui questi modelli vengono creati.

‍

‍

VI. Applicazione e impatto
‍

L’impatto di DeepSeek-V3 è innegabile. Ecco perché:

‍

• Ricerca e sviluppo: un modello open source e ad alte prestazioni come questo stimola l’innovazione, consentendo ai ricercatori di sperimentare e sviluppare la tecnologia DeepSeek.
  ‍
• Applicazioni commerciali: la licenza ne rende consentito l’uso commerciale, aprendone numerose applicazioni in diversi settori.
  ‍
• Democratizzazione dell’intelligenza artificiale : rendendo accessibile un’intelligenza artificiale potente, si livella il campo di gioco, consentendo alle organizzazioni più piccole di competere.
  ‍
• Soluzioni convenienti: costi di formazione più bassi e prezzi competitivi lo rendono una scelta interessante per chiunque voglia sfruttare l’intelligenza artificiale senza ingenti oneri finanziari.
  ‍
• Sfida allo status quo: la sua capacità di sfidare i principali modelli closed-source segnala che l’intelligenza artificiale open-source è un’alternativa genuina e praticabile.
  ‍
• Innovazione nell’inferenza: le funzionalità di inferenza avanzate del modello, che utilizzano 32 GPU H800 per il precompilazione e 320 GPU H800 per la decodifica, mostrano un nuovo livello di sofisticatezza nell’implementazione del modello e stabiliscono lo standard per il futuro.
  ‍

‍

Conclusione
‍

DeepSeek-V3 non è solo un altro miglioramento incrementale, è un grande passo avanti. Le sue prestazioni eccezionali , combinate con un approccio open source, suggeriscono un cambio di paradigma. L’intelligenza artificiale di alto livello , a quanto pare, non richiede necessariamente costi esorbitanti o licenze restrittive.

‍

La velocità , la versatilità e l’accessibilità di DeepSeek-V3 lo rendono una forza nel panorama dell’intelligenza artificiale, mostrando il potere della collaborazione e della democratizzazione nella tecnologia. È un’affermazione audace: lo sviluppo aperto non solo può tenere il passo, ma persino superare i modelli tradizionali. Questo è più di un semplice modello impressionante; è un faro, che ci guida verso un futuro più inclusivo e collaborativo per l’intelligenza artificiale.

(fonte)

Innovaformazione, scuola informatica specialistica segue costantemente il mercato IT e attualmente dell’AI. Promuove l’uso dell’AI Generativa in maniera consapevole e promuove la formazione continua dei team di sviluppatori. Trovate anche i Corsi AI Generativa per le aziende.

INFO: info@innovaformazione.net – tel. 3471012275 (Dario Carrassi)