Meta Llama open source

Meta Llama open source

Come ogni grande azienda tecnologica di questi tempi, Meta ha il suo modello di punta di intelligenza artificiale generativa, chiamato Meta Llama open source . Llama è in un certo senso unico tra i modelli principali in quanto è “aperto”, il che significa che gli sviluppatori possono scaricarlo e utilizzarlo come preferiscono (con alcune limitazioni). Ciò è in contrasto con modelli come Claude di Anthropic, GPT-4o di OpenAI (che alimenta ChatGPT ) e Gemini di Google , a cui si può accedere solo tramite API.

Tuttavia, nell’interesse di dare agli sviluppatori la possibilità di scegliere, Meta ha anche stretto una partnership con vendor, tra cui AWS, Google Cloud e Microsoft Azure, per rendere disponibili versioni di Meta Llama open source ospitate nel cloud. Inoltre, l’azienda ha rilasciato strumenti progettati per semplificare la messa a punto e la personalizzazione del modello.

In questo articolo parliamo di Meta Llama open source, dalle sue capacità, le sue edizioni e fin dove possiamo usarlo.

Cos’è Meta Llama open source?
Meta Llama open source è una famiglia di modelli, non solo uno:

Lama 8B
Lama 70B
Lama 405B
Le ultime versioni sono Llama 3.1 8B , Llama 3.1 70B e Llama 3.1 405B , rilasciate a luglio 2024. Sono addestrate su pagine web in una varietà di linguaggi, codice pubblico e file sul web e dati sintetici (vale a dire dati generati da altri modelli di intelligenza artificiale).

Llama 3.1 8B e Llama 3.1 70B sono modelli piccoli e compatti pensati per funzionare su dispositivi che vanno dai laptop ai server. Llama 3.1 405B, d’altro canto, è un modello su larga scala che richiede (in assenza di alcune modifiche) hardware per data center. Llama 3.1 8B e Llama 3.1 70B sono meno capaci di Llama 3.1 405B, ma più veloci. Sono versioni “distillate” di 405B, in effetti, ottimizzate per bassi overhead di storage e latenza.

Tutti i modelli Meta Llama open source hanno finestre di contesto da 128.000 token. (Nella scienza dei dati, i token sono bit suddivisi di dati grezzi, come le sillabe “fan”, “tas” e “tic” nella parola “fantastic”). Il contesto di un modello, o finestra di contesto, si riferisce ai dati di input (ad esempio, testo) che il modello considera prima di generare output (ad esempio, testo aggiuntivo). Un contesto lungo può impedire ai modelli di “dimenticare” il contenuto di documenti e dati recenti e di deviare dall’argomento ed estrapolare in modo errato.

Questi 128.000 token si traducono in circa 100.000 parole o 300 pagine, che per fare un paragone è più o meno la lunghezza di “Cime tempestose”, “I viaggi di Gulliver” e “Harry Potter e il prigioniero di Azkaban”.

Cosa può fare Llama?
Come altri modelli di intelligenza artificiale generativa, Llama può svolgere una serie di diverse attività assistive, come la codifica e la risposta a domande matematiche di base, nonché la sintesi di documenti in otto lingue (inglese, tedesco, francese, italiano, portoghese, hindi, spagnolo e tailandese). La maggior parte dei carichi di lavoro basati su testo, ad esempio l’analisi di file come PDF e fogli di calcolo, rientrano nella sua competenza; nessuno dei modelli Llama può elaborare o generare immagini, anche se ciò potrebbe cambiare nel prossimo futuro.

Tutti gli ultimi modelli Llama possono essere configurati per sfruttare app, strumenti e API di terze parti per completare le attività. Sono addestrati out of the box per usare Brave Search per rispondere a domande su eventi recenti, la Wolfram Alpha API per query relative a matematica e scienze e un interprete Python per convalidare il codice. Inoltre, Meta afferma che i modelli Llama 3.1 possono usare determinati strumenti che non hanno mai visto prima (ma se possano usare in modo affidabile tali strumenti è un’altra questione).

Dove si può usare Llama?
Se vogliamo semplicemente chattare con Llama, questo supporta l’esperienza del chatbot Meta AI su Facebook Messenger, WhatsApp, Instagram, Oculus e Meta.ai.

Gli sviluppatori che creano con Llama possono scaricare, usare o perfezionare il modello sulla maggior parte delle piattaforme cloud più diffuse. Meta afferma di avere oltre 25 partner che ospitano Llama, tra cui Nvidia, Databricks, Groq, Dell e Snowflake.

Alcuni di questi partner hanno sviluppato strumenti e servizi aggiuntivi su Llama, tra cui strumenti che consentono ai modelli di fare riferimento a dati proprietari e di funzionare a latenze inferiori.

Meta suggerisce di usare i suoi modelli più piccoli, Llama 8B e Llama 70B, per applicazioni generiche come l’alimentazione di chatbot e la generazione di codice. Llama 405B, afferma l’azienda, è meglio riservato alla distillazione del modello, il processo di trasferimento della conoscenza da un modello di grandi dimensioni a un modello più piccolo e più efficiente, e alla generazione di dati sintetici per addestrare (o perfezionare) modelli alternativi.

È importante sottolineare che la licenza Llama limita il modo in cui gli sviluppatori possono implementare il modello : gli sviluppatori di app con oltre 700 milioni di utenti mensili devono richiedere una licenza speciale a Meta, che l’azienda concederà a sua discrezione.

Quali strumenti offre Meta per Llama?
Oltre a Llama, Meta fornisce strumenti pensati per rendere il modello più “sicuro” da usare:

• Llama Guard , un framework di moderazione
• Prompt Guard , uno strumento per proteggersi dagli attacchi di iniezione rapida
• CyberSecEval , una suite di valutazione dei rischi per la sicurezza informatica

Llama Guard cerca di rilevare contenuti potenzialmente problematici immessi in un modello Llama o generati da esso, tra cui contenuti relativi ad attività criminali, sfruttamento minorile, violazioni del copyright, odio, autolesionismo e abusi sessuali. Gli sviluppatori possono personalizzare le categorie di contenuti bloccati e applicare i blocchi a tutte le lingue supportate da Llama out of the box.

Come Llama Guard, Prompt Guard può bloccare il testo destinato a Llama, ma solo il testo destinato ad “attaccare” il modello e a farlo comportare in modi indesiderati. Meta afferma che Llama Guard può difendersi da prompt esplicitamente dannosi (ad esempio, jailbreak che tentano di aggirare i filtri di sicurezza integrati di Llama) oltre ai prompt che contengono ” input iniettati “.

Per quanto riguarda CyberSecEval, è meno uno strumento che una raccolta di benchmark per misurare la sicurezza del modello. CyberSecEval può valutare il rischio che un modello Llama pone (almeno secondo i criteri di Meta) agli sviluppatori di app e agli utenti finali in aree come “ingegneria sociale automatizzata” e “scalabilità delle operazioni informatiche offensive”.

Limitazioni del Meta Llama open source
Come tutti i modelli di intelligenza artificiale generativa, anche Llama presenta alcuni rischi e limitazioni.

Ad esempio, non è chiaro se Meta abbia addestrato Llama su contenuti protetti da copyright. Se così fosse, gli utenti potrebbero essere ritenuti responsabili di violazione se finissero per usare inconsapevolmente uno snippet protetto da copyright che il modello ha rigurgitato .

Meta a un certo punto ha utilizzato e-book protetti da copyright per l’addestramento dell’IA nonostante gli avvertimenti dei suoi stessi avvocati, secondo un recente reportage di Reuters. L’azienda addestra in modo controverso la sua IA su post, foto e didascalie di Instagram e Facebook e rende difficile per gli utenti rinunciare . Inoltre, Meta, insieme a OpenAI, è oggetto di una causa in corso intentata da autori, tra cui la comica Sarah Silverman, per il presunto uso non autorizzato di dati protetti da copyright da parte delle aziende per l’addestramento dei modelli.

La programmazione è un altro ambito in cui è opportuno procedere con cautela quando si usa Llama. Questo perché Llama potrebbe — come le sue controparti di IA generativa — produrre codice buggato o non sicuro .

Come sempre, è meglio far revisionare da un esperto umano qualsiasi codice generato dall’intelligenza artificiale prima di incorporarlo in un servizio o software.

Oppure è consigliabile formarsi adeguatamente con dei corsi specialistici prima di addentrarsi alla cieca su una tecnologie cosi nuova e non semplice da approcciare.

Consigliamo quindi una formazione con Innovaformazione che negli ultimi anni ha inserito anche i Corsi AI Generativa per aziende IT.

(fonte)

INFO: info@innovaformazione.net – Tel. 3471012275 (Dario Carrassi)