Cosa è WHAMM o Muse

Cosa è WHAMM o Muse

Negli ultimi anni, l’intelligenza artificiale applicata ai videogiochi ha visto innovazioni rivoluzionarie, capaci di trasformare il modo in cui vengono progettate e sperimentate le esperienze ludiche. Un esempio lampante di questi progressi è rappresentato da WHAMM, un modello di world modelling in tempo reale, e dal suo discendente Muse, il primo modello di AI generativa ideato appositamente per l’ideazione del gameplay. Questi sistemi, sviluppati da Microsoft Research in collaborazione con team di Xbox Gaming AI e altri partner, mostrano come l’AI possa non solo replicare, ma anche estendere le dinamiche dei mondi interattivi.

Origini e Contesto

WHAMM (World and Human Action MaskGIT Model) nasce come evoluzione del precedente WHAM‑1.6B, un modello in grado di generare in sequenza immagini e azioni per ambienti di gioco. Il progetto ha avuto il via quasi sei settimane fa, quando il team Microsoft Research, spinto dalla necessità di un’esperienza interattiva in tempo reale, ha deciso di rielaborare il meccanismo di generazione.

Il principio alla base di WHAMM è di produrre immagini a una frequenza superiore (oltre 10 fotogrammi al secondo) rispetto al modello autoregressivo WHAM‑1.6B, che generava soltanto 1 immagine al secondo. Tale miglioramento è reso possibile grazie a una strategia di generazione token basata su MaskGIT, che consente di generare l’intera immagine in pochi passaggi iterativi, favorendo così un’interazione istantanea e fluida tra l’utente e il sistema. La scelta di applicare questo modello a un gioco iconico come Quake II, grazie ad una raccolta dati altamente mirata (raccogliendo soltanto 1 settimana di gameplay ad alta qualità rispetto ai 7 anni precedenti), evidenzia l’orientamento al realismo e alla rapidità di risposta richiesto nel mondo dei videogiochi.

Architettura e Tecnologie – Cosa è WHAMM o Muse

L’architettura di WHAMM si basa su un approccio a due stadi:

  1. Backbone Transformer: Questa componente, composta da circa 500 milioni di parametri, riceve in input il contesto costituito da sequenze di azioni e immagini (tipicamente, 9 coppie immagine-azione) e genera una previsione iniziale sotto forma di una sequenza tokenizzata.
  2. Refinement Transformer: Un modulo più leggero, con circa 250 milioni di parametri, che raffina la previsione iniziale. Questo componente utilizza un processo iterativo basato su MaskGIT per mascherare e predire nuovamente i token, consentendo così una generazione rapida e di qualità superiore.

Per la tokenizzazione delle immagini, viene impiegato un ViT-VQGAN, che converte le immagini (ad esempio da una risoluzione aumentata di 640×360 pixel, rispetto ai precedenti 300×180) in sequenze di token. L’adozione di questa soluzione permette un miglioramento significativo nella qualità percepita e una maggiore efficienza nel processo generativo.

Le decisioni architetturali, quali l’impiego di un transformer decoder-only per la predizione sequenziale dei token e l’adozione di un setup MaskGIT per la generazione parallela, sono stati cruciali per garantire che il modello potesse operare in tempo reale. Queste scelte tecnologiche rispondono a requisiti stringenti di latenza e consistenza, essenziali per garantire un’esperienza utente immersiva e interattiva.

Applicazioni e Utilizzo

WHAMM non si limita a generare immagini statiche, ma permette di interagire dinamicamente con il mondo del gioco. Ad esempio, nel contesto di Quake II, l’utente può esplorare il modello generato, muovere la telecamera, saltare, abbassarsi, sparare e persino interagire con oggetti ambientali come barili ed elementi segreti. Il sistema supporta anche modifiche contestuali: l’inserimento di nuovi oggetti o personaggi nelle scene genera un’iterazione del contesto che il modello sa “persistere”, integrando senza soluzione di continuità le modifiche apportate dall’utente.

Tuttavia, non mancano alcune limitazioni: la gestione delle interazioni con i nemici, la lunghezza del contesto e la precisione nel conteggio degli elementi (ad esempio, il quantitativo di salute) sono aspetti ancora soggetti a miglioramenti, mentre il modello mantiene una natura intrinsecamente generativa basata su una approssimazione dell’ambiente reale.

Muse: Sintesi e Scenari di Sviluppo

Il progetto Muse, introdotto in un post sul Microsoft Research Blog, rappresenta il primo modello di AI generativa specificamente progettato per l’ideazione del gameplay. Pubblicato a febbraio 2025, Muse si configura come un’evoluzione e un’estensione della famiglia WHAM, integrando capacità di generare non solo immagini ma anche azioni del controller, attraverso una profonda analisi delle dinamiche videoludiche.

Muse è stato sviluppato dal team di Game Intelligence in collaborazione con Ninja Theory e il gruppo Teachable AI Experiences, con l’obiettivo di sfruttare l’enorme potenziale dei dati di gameplay raccolti da Bleeding Edge, un titolo Xbox. Con oltre 1 miliardo di immagini e azioni campionate, Muse è stato addestrato su dati che rappresentano oltre 7 anni di gameplay continuo, garantendo così una comprensione approfondita delle dinamiche di gioco. Il modello enfatizza tre capacità chiave:

  • Consistenza: Muse è in grado di generare sequenze di gioco che rispettano le dinamiche fisiche e le regole dell’ambiente digitale.
  • Diversità: Dallo stesso prompt iniziale, il modello può generare una pluralità di scenari di gioco, offrendo soluzioni creative e varianti comportamentali.
  • Persistenza: La capacità di integrare modifiche esterne, come l’aggiunta di nuovi elementi visivi, garantisce che il modello evolva in accordo con le variazioni apportate dall’utente.

Un ulteriore punto di forza di Muse è rappresentato dal WHAM Demonstrator, un’interfaccia che permette agli sviluppatori di interagire direttamente col modello e di esplorare le sue potenzialità in un contesto di ideazione e sperimentazione creativa. Il sistema ha beneficiato della scalabilità offerta dai nuovi cluster di GPU H100, che hanno permesso di superare numerosi ostacoli durante l’addestramento, portando ad un’evoluzione costante della qualità dell’output.

Scenari Futuri e Impatti sul Mercato del Gaming – Cosa è WHAMM o Muse

L’introduzione di strumenti come WHAMM e Muse apre scenari futuri affascinanti e ricchi di potenzialità nell’ambito dei videogiochi. In primo luogo, la capacità di generare contenuti in tempo reale apre la strada a esperienze di gioco dinamiche e personalizzate, dove l’utente diventa parte integrante del processo creativo, interagendo in real time con mondi virtuali in continua evoluzione. Questa tecnologia potrebbe trasformare il design dei giochi, permettendo iterazioni rapidissime, test di gameplay immediati e una significativa riduzione dei tempi di sviluppo.

Sul fronte del mercato del lavoro nel settore gaming, l’avvento di tali strumenti potrà determinare un cambio di paradigma. I ruoli tradizionali di designer, programmatori e tester potrebbero espandersi in nuove figure professionali, come “AI Game Designers”, esperti in integrazione e gestione di modelli generativi, e specialisti di “human-AI interaction design”. Inoltre, la democratizzazione degli strumenti di ideazione creativa potrebbe abbassare le barriere d’ingresso per piccoli sviluppatori e team indipendenti, stimolando l’innovazione e la diversità nei contenuti videoludici. Probabilmente ci saranno integrazioni con engine per lo sviluppo gaming come Unity 3D? Ancora non sappiamo.

Infine, l’integrazione con piattaforme di cloud computing, come Azure AI Foundry, favorisce un ambiente collaborativo e aperto, dove ricercatori, creatori e sviluppatori possono condividere conoscenze e contribuire all’evoluzione di questa tecnologia. Tale collaborazione multidisciplinare promette di dare vita a nuove forme di espressione artistica e narrativa, rivoluzionando radicalmente il modo in cui concepiamo l’intrattenimento interattivo.

Queste innovazioni rappresentano il futuro del gaming interattivo, dove intelligenza artificiale e creatività convergono per creare esperienze di gioco sempre più coinvolgenti ed efficaci.

(fonte) (fonte)

Innovaformazione, scuola informatica specialistica promuove la cultura dell’AI e dello sviluppo gaming in maniera consapevole. L’offerta formativa per aziende è presente sul nostro sito QUI.

Per altri articoli di settore consigliamo di navigare sul nostro blog QUI.

INFO: info@innovaformazione.net – tel. 3471012275 (Dario Carrassi)

Ti potrebbe interessare

Articoli correlati