La tecnologia sotto AMAZON Rufus

La tecnologia sotto AMAZON Rufus

La tecnologia alla base dell’assistente per lo shopping Rufus di Amazon basato su GenAI

Recentemente Amazon, il marketplace mondiale dello shopping online, ha lanciato un chatbot interno di intelligenza artificiale. Si chiama Rufus e lo trovate come una piccola icona a due colori (arancio e verde acqua) con un “+” in basso a destra dell’app mobile utilizzando uno smartphone.

Amazon Rufus in Italia è in versione beta e attualmente non lo hanno abilitato ma a breve sarà accessibile a tutti gli account. Si tratta di uno strumento chatbot basato sull’AI da considerarsi come un assistente allo shopping. Dialogando con Amazon Rufus, l’utente potrà ottenere informazioni e consigli oppure suggerimenti sull’acquisto. Aprendo per la prima volta l’applicativo ci sottoporrà delle prime domande da cui partire per approfondire le nostre esigenze e trovare la risposta giusta.

Ma in questo articolo proviamo ad analizzare più nel tecnico e comprendere La tecnologia sotto AMAZON Rufus.
Rufus sfrutta i chip AWS Trainium e Inferentia, l’elasticità e la scalabilità di AWS e un modello linguistico di grandi dimensioni personalizzato per rispondere rapidamente alle domande degli acquirenti.

“Cosa mi serve per giocare a golf quando fa freddo?”

“Quali sono le differenze tra le scarpe da trail e le scarpe da running?”

“Quali sono i migliori giocattoli a tema dinosauri per un bambino di cinque anni?”

Queste sono alcune delle domande aperte che i clienti potrebbero porre a un addetto alle vendite disponibile in un negozio fisico. Ma che dire dello shopping online? Come si orientano i clienti nella selezione online?

La risposta per Amazon è Rufus, un assistente per lo shopping basato su AI generativa. Rufus aiuta i clienti Amazon a prendere decisioni di acquisto più consapevoli rispondendo a un’ampia gamma di domande nell’app Amazon Shopping, dai dettagli dei prodotti e confronti alle raccomandazioni. Ed esiste grazie ai progressi e alle innovazioni nell’AI.

Con l’articolo “La tecnologia sotto AMAZON Rufus” proviamo a comprendere lo sforzo scientifico e ingegneristico dietro Rufus.

Per creare un utile assistente per lo shopping conversazionale, era fondamentale utilizzare tecnologie innovative in più aspetti dell’intelligenza artificiale generativa. Ciò includeva la creazione di un modello linguistico personalizzato (LLM) specializzato per lo shopping; l’impiego della generazione aumentata dal recupero (RAG) con una varietà di fonti di prove; l’utilizzo dell’apprendimento per rinforzo per migliorare le risposte; i progressi nell’elaborazione ad alte prestazioni per migliorare l’efficienza dell’inferenza e ridurre la latenza; e l’implementazione di una nuova architettura di streaming per supportare una migliore esperienza del cliente. Abbiamo selezionato l’infrastruttura AWS, inclusi i chip AWS Trainium e Inferentia, per offrire queste esperienze su larga scala perché AWS offre le basi di intelligenza artificiale generativa più avanzate, sicure, affidabili e convenienti.

Creare un LLM personalizzato da zero

La maggior parte degli LLM viene formata su set di dati che migliorano le loro conoscenze e capacità complessive, e poi vengono personalizzati per un dominio specifico. Fin dall’inizio, il nostro obiettivo con Rufus era di formarlo principalmente con dati di acquisto, l’intero catalogo Amazon, per cominciare, così come recensioni dei clienti e informazioni dai post di Q&A della community. I nostri scienziati hanno creato un LLM avanzato e personalizzato che incorporava queste fonti di dati insieme a informazioni pubbliche sul web, curando attentamente il contributo di ciascuna fonte di dati per la formazione del modello. Abbiamo utilizzato il servizio AWS Amazon EMR, una piattaforma cloud big data per l’elaborazione di dati distribuiti su larga scala, per preparare i dati e Amazon S3, la principale soluzione di archiviazione cloud, per archiviare i dati. Entrambi i servizi hanno svolto un ruolo fondamentale nella creazione di una base sicura e affidabile per costruire il modello personalizzato.

Utilizzo di RAG per far emergere risposte basate su fonti attendibili

Per rispondere alla vasta gamma di domande che potrebbero essere poste, Rufus deve essere in grado di andare oltre i dati di training e utilizzare informazioni che non ha mai visto prima. Ecco dove entra in gioco RAG: prima di generare una risposta, l’LLM seleziona prima le informazioni che potrebbero essere utili per rispondere alle domande dell’acquirente.

Valutazione automatizzata delle pipeline RAG con generazione di esami
Ma come fa a sapere quali informazioni scegliere? Rufus estrae informazioni da fonti che sa essere affidabili, come recensioni dei clienti, catalogo prodotti e domande e risposte della community, oltre a chiamare le API Stores pertinenti. La complessità del nostro processo RAG è unica, sia per la varietà delle nostre fonti di dati sia per la diversa pertinenza di ciascuna, a seconda della domanda.

Miglioramento costante attraverso l’apprendimento per rinforzo

Ogni LLM e ogni utilizzo dell’IA generativa sono un work in progress. Affinché Rufus diventi più utile nel tempo, deve imparare quali risposte sono utili e quali possono essere migliorate. Attraverso un processo chiamato apprendimento per rinforzo, i clienti possono essere la migliore fonte di tali informazioni. Amazon incoraggia i clienti a fornire feedback a Rufus, facendo sapere al modello se le risposte sono piaciute o meno. Nel tempo, Rufus impara dal feedback dei clienti e migliora le sue risposte, generando risposte che aiutano meglio i clienti ad acquistare.

Bassa latenza e alta produttività con i chip AI di Amazon

Rufus deve essere in grado di interagire con milioni di clienti simultaneamente senza alcun ritardo evidente. Ciò è particolarmente impegnativo poiché le applicazioni di IA generativa sono molto intensive a livello computazionale, specialmente su scala Amazon.

Per ridurre al minimo la latenza e massimizzare la produttività, vengono utilizzati i chip Trainium e Inferentia di Amazon, integrati con i servizi AWS principali. Amazon ha collaborato con il team del compilatore Neuron per implementare ottimizzazioni che migliorano l’efficienza dell’inferenza del modello e abbiamo reso tali ottimizzazioni disponibili a tutti i clienti AWS. La scelta dei chip AI sviluppati internamente da Amazon ha consentito al nostro team di muoversi rapidamente, distribuire su larga scala e tenere il passo con la domanda dei clienti.

Con gli LLM, tuttavia, la produttività e la latenza possono ancora essere compromesse dai metodi standard per l’elaborazione delle richieste in batch. Questo perché è difficile prevedere quanti token (in questo caso, unità di testo, come parole o segni di punteggiatura) genererà un LLM mentre compone una risposta. I nostri scienziati hanno collaborato con AWS per consentire a Rufus di utilizzare il batching continuo, una nuova tecnica specifica per l’inferenza LLM che prende decisioni di routing per le nuove richieste dopo che ogni token è stato generato. Ciò consente al modello di iniziare a servire nuove richieste non appena termina la prima richiesta nel batch, anziché attendere che tutte le richieste siano terminate, in modo che gli acquirenti ricevano le loro risposte più velocemente.

Architettura di streaming – La tecnologia sotto AMAZON Rufus

Si vuole che Rufus fornisca la risposta più pertinente e utile a qualsiasi domanda. A volte è una risposta di testo lunga, ma a volte è un testo breve o un link cliccabile che aiuta il cliente a navigare nel negozio.

Presentare la risposta in un modo che sia facile da interpretare per il cliente presenta le sue difficoltà tecniche. Le informazioni devono seguire un flusso logico. Se non fossero raggruppasseri e formattate le cose correttamente, potremmo finire con una risposta confusa che non è molto utile.

Con un’architettura di streaming avanzata, Rufus è in grado di fornire un’esperienza naturale al cliente. Lo streaming end-to-end su base token-by-token significa che i clienti non devono attendere che una lunga risposta venga completamente generata. Invece, ottengono la prima parte della risposta mentre il resto è ancora in corso. Rufus popolerà la risposta di streaming con i dati giusti, un processo chiamato idratazione, eseguendo query sui sistemi interni. È addestrato per generare istruzioni di markup che specificano come devono essere visualizzati vari elementi di risposta, oltre a rispondere alla domanda del cliente, con conseguente esperienza unica e utile per il cliente.

Sebbene Amazon utilizzi l’intelligenza artificiale da oltre 25 anni per migliorare l’esperienza del cliente, l’intelligenza artificiale generativa rappresenta qualcosa di nuovo e trasformativo, per Amazon, i suoi clienti e coloro di noi nei team scientifici che possono creare esperienze che vanno oltre ciò che pensavamo fosse possibile.

(fonte)

Se non lo avete ancora provato, consigliamo di “farsi due chiacchiere” con Rufus per ricevere consiglio sul prossimo acquisto.

Innovaformazione, scuola informatica specialistica segue costantemente il trend di mercato e le innovazioni nel settore IT.

L’offerta dei corsi di formazione è rivolta principalmente alle aziende IT e trovate l’elenco corsi sul nostro sito QUI.

In particolare trovate i Corsi AI Generativa.

INFO: info@innovaformazione.net – tel. 3471012275 (Dario Carrassi)