Google DeepMind lance Genie 4, un modèle de monde interactif avec audio en direct

Google DeepMind a présenté Genie 4 mardi, le rendant immédiatement disponible pour des testeurs de confiance, avec un déploiement plus large attendu dans les prochaines semaines pour les abonnés de Google AI Ultra via Project Genie, ainsi que pour les partenaires en accès anticipé de l'API Gemini et de Google AI Studio. Genie 4 est un modèle de monde — il génère des environnements virtuels interactifs à partir d'invites textuelles ou d'images — et représente une avancée majeure par rapport à son prédécesseur dans trois domaines clés. Premièrement, il génère un audio natif et synchronisé : musique, bruits ambiants et dialogues réactifs des personnages apparaissent en temps réel aux côtés du monde simulé. Deuxièmement, il double la limite de cohérence des scènes de son prédécesseur, maintenant une physique et un placement des objets cohérents pendant jusqu'à deux minutes. Troisièmement, les utilisateurs peuvent diriger les simulations en cours d'exécution en tapant des invites pour changer la météo, les angles de caméra ou ajouter des objets, ce qui rend l'expérience véritablement interactive plutôt qu'une génération unique. Genie 4 est étroitement intégré à Gemini, le modèle d'IA de Google, qui agit comme réalisateur en planifiant les étapes et en vérifiant les images pendant que Genie crée les visuels. Dans une expérience de robotique connexe, un modèle Gemini 4 Argon a décomposé des tâches en étapes que Genie 4 a simulées en temps réel, ouvrant la voie à des tests de scénarios robotiques en virtuel avant un déploiement réel. Parmi les applications potentielles citées par l'équipe figurent le prototypage de jeux, la simulation robotique, le storyboard cinématographique et l'apprentissage interactif. Les limitations actuelles incluent une dérive occasionnelle des détails fins lors de simulations plus longues, ainsi que des difficultés à garantir la précision audio et la lisibilité du texte à l'intérieur du monde simulé.