AI Generativa di AMAZON Bedrock

AI Generativa di AMAZON Bedrock

La AI Generativa (GenAI) è emersa come una tecnologia trasformativa. Amazon Bedrock è una delle ultime offerte di AWS che combina la sicurezza, la scalabilità e l’affidabilità dei servizi cloud con GenAI. Questo articolo mira ad approfondire Bedrock, esplorandone le caratteristiche principali, i vantaggi, i casi d’uso e il modo in cui si inserisce nell’ecosistema AWS più ampio.

Di cosa parleremo nell’articolo “AI Generativa di AMAZON Bedrock“:

• Che cos’è Amazon Bedrock?
• Caratteristiche principali di Amazon Bedrock
• Prezzi di Amazon Bedrock
• Casi d’uso delle applicazioni di intelligenza artificiale generativa
• Come iniziare con Amazon Bedrock
• Esercitazione su Amazon Bedrock

Che cos’è Amazon Bedrock?
Amazon Bedrock è uno strumento di intelligenza artificiale generativa per lo sviluppo di applicazioni rilasciato da AWS. È un servizio completamente gestito che fornisce accesso ai principali modelli fondamentali (FM) tramite un singolo endpoint.

Con Bedrock, AWS mira a democratizzare l’accesso alle tecnologie GenAI e semplificare lo sviluppo di applicazioni GenAI. Bedrock consente alle aziende di consumare facilmente vari FM per creare potenti applicazioni GenAI per i loro casi d’uso aziendali senza dover sviluppare competenze di apprendimento automatico e la fatica di gestire l’infrastruttura associata.

I modelli FM disponibili sono stati addestrati su enormi set di dati utilizzando tecniche all’avanguardia e possono essere ulteriormente ottimizzati per specializzarsi in attività specifiche. Costruire o addestrare questi modelli da zero sarebbe un’impresa macchinosa, dispendiosa in termini di tempo e molto costosa per le aziende. Con la semplicità di Amazon Bedrock, gli sviluppatori possono sperimentare facilmente e in modo sicuro diversi modelli, personalizzarli per attività specializzate e integrarli con le loro applicazioni esistenti o evolvere e reinventare i loro prodotti.

Caratteristiche principali di Amazon Bedrock
Diamo un’occhiata ad alcune delle caratteristiche più importanti di AWS Bedrock.

1. Accesso a una gamma di modelli di fondazione leader (FM)
   Bedrock offre vari FM di importanti aziende di intelligenza artificiale, come Anthropic, AI21 Labs, Cohere, Meta, Mistral AI, Stability.ai e i modelli di Amazon. Poiché modelli diversi sono più adatti a compiti diversi, Bedrock offre ai team flessibilità per quanto riguarda la scelta del modello per scenari diversi.
2. Esperienza semplificata e gestita per le applicazioni GenAI
   Amazon Bedrock è un servizio completamente gestito e serverless, che astrae completamente la necessità di gestire i componenti dell’infrastruttura per i tuoi modelli di base. Fornisce un singolo accesso API indipendentemente dal modello scelto, semplificando integrazioni, operazioni e aggiornamenti della versione del modello.
3. Personalizzazione del modello e generazione aumentata del recupero (RAG)
   Il valore effettivo della potenza dei FM si ottiene quando le aziende riescono a personalizzare e adattare privatamente ed efficacemente questi modelli con i propri dati proprietari. Per personalizzare questi modelli, Bedrock offre funzionalità di messa a punto e crea una copia privata separata di questo modello. Per abbinare i modelli a informazioni recenti e aggiornate, le aziende sfruttano RAG, una tecnica per migliorare il contesto di un modello con fonti di dati proprietarie per risposte più accurate e informate.
4. Sicurezza, privacy e protezione integrate
   Con Bedrock, i dati non lasciano mai i tuoi ambienti AWS e sono crittografati in transito e a riposo. Gli utenti possono sfruttare i loro controlli e servizi di sicurezza AWS esistenti, come KMS per la crittografia, policy IAM , CloudWatch per il monitoraggio, CloudTrail per la governance e progettazione di rete basata su Amazon VPC.

Quando un modello di base viene messo a punto, viene utilizzata una copia privata di quel modello e i dati proprietari non vengono utilizzati per migliorare il modello di base. Bedrock rientra nell’ambito degli standard di conformità comuni, tra cui ISO, SOC, CSA, STAR Level 2, è idoneo per HIPAA e può essere utilizzato in conformità con il GDPR.

Bedrock ha rilasciato la funzionalità Guardrails che consente alle aziende di applicare policy e sicurezza per le loro risposte modello. Guardrails fornisce un livello di salvaguardia e policy per promuovere un utilizzo sicuro e responsabile di FM bloccando argomenti non sicuri, evitando contenuti dannosi e censurando informazioni personali identificabili.

5. Sfruttare gli agenti per eseguire attività in più fasi
   Ci sono casi d’uso in cui le aziende vorrebbero automatizzare i processi ed eseguire complesse attività multi-step in base alla risposta del modello. Con Agents , gli utenti possono accelerare la creazione dei loro prompt con istruzioni personalizzate, orchestrare una sequenza di azioni, chiamare le API necessarie per soddisfare l’attività desiderata e monitorare e tracciare il ragionamento e l’orchestrazione di attività complesse da parte dell’agente.

Prezzi di Amazon Bedrock
I prezzi di Amazon Bedrock si basano sull’utilizzo del servizio e dipendono dal modello di prezzo e dal modello base.

Esistono principalmente tre modelli di prezzo per Amazon Bedrock:

• Su richiesta
• Capacità di elaborazione fornita
• Personalizzazione del modello

Su richiesta
Con questo piano paghi solo per il tuo utilizzo senza impegni a lungo termine. In genere paghi per ogni operazione di inferenza eseguita utilizzando i modelli disponibili in Amazon Bedrock. Il prezzo dipende dal numero di token di input e output elaborati e dal modello di base scelto.

Un token è composto da pochi caratteri e si riferisce all’unità di testo di base per l’input e il prompt di un modello. Per i modelli di generazione di immagini, ti verrà addebitato un costo per ogni immagine generata.

Un sottoinsieme del pricing on-demand è la modalità Batch, che consente ai processi di elaborare un set di prompt, ricevere risposte in un singolo file di output e memorizzarle su S3. La modalità Batch segue il pricing per On-demand.

Capacità di elaborazione fornita
Per alcuni modelli, puoi acquistare il throughput provisioned, che garantisce la disponibilità ed è utile per carichi di lavoro di inferenza grandi e coerenti. Il throughput provisioned richiede un impegno di 1 o 6 mesi per l’utilizzo di base.

Personalizzazione del modello
Per la personalizzazione dei modelli, ti viene addebitato l’addestramento del modello in base ai token e l’archiviazione del modello viene addebitata al mese. L’inferenza per i modelli personalizzati richiede un piano di throughput provisioned.

Per informazioni dettagliate sui prezzi di ciascun fornitore, modello base e modello di prezzo disponibile, consulta i prezzi ufficiali di Amazon Bedrock .

Casi d’uso delle applicazioni di intelligenza artificiale generativa – AI Generativa di AMAZON Bedrock
Ecco i tre principali casi d’uso della GenAI in generale.

Generazione di contenuti
Con Amazon Bedrock, puoi sfruttare uno qualsiasi degli FM per generare nuovi contenuti in formato testo, come storie, blog, post sui social media, descrizioni di prodotti e immagini per marketing, campagne, siti web, presentazioni, opere d’arte e illustrazioni. La generazione di contenuti con GenAI è già ampiamente utilizzata per personalizzazione, marketing, intrattenimento e gaming.

Assistenti virtuali
I chatbot e gli assistenti virtuali sono emersi come uno dei casi d’uso più comuni per migliorare l’esperienza del cliente e il supporto. Gli assistenti virtuali basati sulla tecnologia GenAI, dotati di informazioni proprietarie e basi di conoscenza, possono rispondere in modo efficiente alle richieste dei clienti, automatizzare le attività e fornire soluzioni e indicazioni.

Riassunto del testo
La sintesi del testo è un altro caso d’uso eccellente per l’uso della tecnologia GenAI. Con l’aiuto di FM, possiamo aumentare la produttività generando riassunti concisi di libri, storie, documenti di ricerca, documentazione tecnica ed estrazione di informazioni in modalità fast-track. Questo caso d’uso è particolarmente utile nei documenti legali, nei contenuti educativi e accademici e nelle riunioni di riepilogo.

Come iniziare con Amazon Bedrock – AI Generativa di AMAZON Bedrock
Per ottenere l’accesso ad Amazon Bedrock e iniziare a creare, hai bisogno di un account AWS. Quindi, segui le istruzioni per configurare Amazon Bedrock e richiedere l’accesso al modello per i modelli che vuoi abilitare per il tuo account AWS.

Il modo più semplice per sperimentare Bedrock è usare la funzionalità Playground per provare diversi modelli prima di decidere quale usare. Puoi usare la funzionalità Playground per casi di testo, immagine e chat. Il playground fornisce anche parametri configurabili per ogni modello relativi a lunghezza di risposta, casualità e diversità di risposte.

Dai un’occhiata ai Supported Base Models per vedere tutti i diversi Foundation Models . Per ottenere il massimo dai tuoi modelli, dai un’occhiata alle Prompt Engineering guidelines . Ogni modello ha i suoi parametri di configurazione e inferenza . Questi parametri configurabili possono essere usati per influenzare le risposte insieme al prompt.

Per valutare modelli diversi, puoi usare la funzionalità Model Evaluation che ti consente di confrontare e valutare gli output di modelli diversi e di decidere quale preferire. Un’altra funzionalità utile è la Knowledge Base gestita , che combina FM con fonti di dati e informazioni private. Questa funzionalità sfrutta una tecnica chiamata Retrieval Augmented Generation (RAG), che migliora le risposte dei modelli con informazioni specifiche e aggiornate.

Esercitazione su Amazon Bedrock
Diamo un’occhiata a una demo per avere un assaggio migliore delle capacità di Bedrock. Per seguire, dai un’occhiata a questo repository GitHub: Amazon Bedrock – Demo introduttiva .

Nota: l’esecuzione di questa demo comporterà dei costi sul tuo account AWS.

Prerequisiti:

• Account AWS (account sandbox consigliato)
• Utente o ruolo IAM con accesso Amministratore o le autorizzazioni richieste per accedere ad Amazon Bedrock e ai suoi FM. Configura le credenziali di questo principale nel profilo AWS predefinito del tuo ambiente (AWS_PROFILE). Assicurati inoltre di aver abilitato l’accesso al modello su Amazon Bedrock.
• Versione 3.9+
• Accesso a Internet

Per iniziare, crea un ambiente virtuale Python:

python -m venv demo
cd demo
source bin/activate

Quindi, clonare il repository e installare le dipendenze:

git clone https://github.com/aws-samples/amazon-bedrock-intro-demo.git
cd amazon-bedrock-intro-demo
pip install -r requirements.txt

Infine, avvia l’ applicazione streamlit :

streamlit run main.py

Questo comando aprirà una nuova scheda del browser con l’applicazione distribuita che si presenta in questo modo:

Qui troverete diverse applicazioni e casi d’uso che richiamano le API Bedrock per diversi modelli. Diamo un’occhiata ad alcuni di essi.

Nel pannello di sinistra, seleziona QA – FM Comparison, dove puoi scegliere uno qualsiasi dei modelli disponibili e confrontarli per i casi d’uso QA. In questo caso, sto confrontando amazon.titan-tg1-large e anthropic.claude-v2:

Sentiti libero di giocare e sperimentare con modelli e domande diverse. Ora, controlliamo l’opzione Chat – FMs. Questa volta, ho optato per il modello meta.llama2-13b-chat-v1 e gli ho chiesto di spiegare il cloud computing come se avessi cinque anni.

Passando all’opzione Code Translation possiamo tradurre blocchi di codice da un linguaggio di programmazione a un altro. Ho utilizzato una funzione Javascript che controlla se un numero è primo e ho scelto di tradurlo in Python come esempio:

Infine, esploriamo l’opzione RAG – Document(s), che consente di caricare un documento PDF e rispondere a domande o recuperare informazioni in base al documento. Mostra persino un confronto della risposta del modello con e senza la tecnica RAG.

Per quanto riguarda il documento da utilizzare, ho caricato l’ Artificial Intelligence Act del Parlamento europeo e gli ho chiesto di riassumere il contenuto del documento. Nota che il modello non è a conoscenza di questo documento senza usare RAG e la sua risposta è del tutto irrilevante. D’altro canto, usando il metodo RAG e sfruttando il documento, la risposta sarà abbastanza pertinente.

Punti chiave
In questo articolo, abbiamo esplorato Amazon Bedrock per iniziare a creare applicazioni di intelligenza artificiale generativa su AWS. Abbiamo approfondito le sue funzionalità, fornito diversi casi d’uso e discusso su come gli utenti possono iniziare. Infine, abbiamo esaminato un’applicazione demo introduttiva che sfrutta Bedrock e richiama diversi modelli di fondazione dietro le quinte tramite un’API.

(fonte)

L’AI Generativa sta travolgendo la nostra vita quotidiana e ormai ogni applicativo software ha delle funzioni di AI Generativa al suo interno.

Se sei un’azienda IT, una società di consulenza o una software house e vuoi apprendere al meglio i migliori strumenti e metodi per integrare l’AI Generativa nei tuoi prodotti software, consigliamo di seguire i nostri Corsi AI Generativa.

INFO: info@innovaformazione.net – Tel. 3471012275 (Dario Carrassi)