Google DeepMind lancia Genie 4, un modello di mondo interattivo con audio dal vivo

Google DeepMind ha presentato Genie 4 martedì, rendendolo immediatamente disponibile a tester di fiducia, con un lancio più ampio previsto nelle prossime settimane per gli abbonati a Google AI Ultra tramite Project Genie e per i partner in accesso anticipato dell'API Gemini e di Google AI Studio. Genie 4 è un modello di mondo — genera ambienti virtuali interattivi a partire da prompt testuali o visivi — e rappresenta un notevole miglioramento rispetto al suo predecessore in tre aree chiave. Primo, genera audio nativo e sincronizzato: musica, rumori ambientali e dialoghi reattivi dei personaggi compaiono insieme al mondo simulato in tempo reale. Secondo, raddoppia il limite di coerenza della scena del predecessore, mantenendo fisica e posizionamento degli oggetti coerenti per fino a due minuti. Terzo, gli utenti possono guidare le simulazioni mentre sono in corso digitando prompt per cambiare il meteo, gli angoli della telecamera o aggiungere oggetti, rendendo l'esperienza davvero interattiva invece di una generazione unica. Genie 4 è strettamente integrato con Gemini, il modello di IA di Google, che agisce da regista pianificando i passaggi e controllando i fotogrammi mentre Genie crea le immagini. In un esperimento correlato di robotica, un modello Gemini 4 Argon ha scomposto i compiti in passaggi che Genie 4 ha simulato in tempo reale, indicando la possibilità di testare scenari robotici in modo virtuale prima dell'impiego nel mondo reale. Tra le applicazioni potenziali citate dal team figurano la prototipazione di videogiochi, la simulazione robotica, lo storyboard cinematografico e l'apprendimento interattivo. Le limitazioni attuali includono occasionali derive nei dettagli fini durante simulazioni più lunghe, oltre a difficoltà nel garantire l'accuratezza audio e la leggibilità del testo all'interno del mondo.