Google DeepMind представила Genie 4 — інтерактивну модель світу з живим звуком

Google DeepMind представила Genie 4 у вівторок, зробивши модель одразу доступною для довірених тестувальників; ширший запуск для підписників Google AI Ultra через Project Genie, а також для партнерів з раннім доступом до Gemini API та Google AI Studio очікується найближчими тижнями. Genie 4 — це модель світу: вона створює інтерактивні віртуальні середовища на основі текстових або графічних підказок — і є суттєвим покращенням порівняно з попередньою версією у трьох ключових напрямках. По-перше, вона генерує власний синхронізований звук: музика, фонові шуми та реактивні діалоги персонажів з'являються разом із симульованим світом у реальному часі. По-друге, вона вдвічі збільшує межу узгодженості сцени порівняно з попередньою версією, зберігаючи цілісну фізику та розташування об'єктів протягом до двох хвилин. По-третє, користувачі можуть керувати симуляцією під час її виконання, вводячи підказки для зміни погоди, кутів камери або додавання об'єктів, що робить процес справді інтерактивним, а не одноразовою генерацією. Genie 4 тісно інтегрована з Gemini — моделлю ШІ від Google, яка виконує роль режисера, планує кроки та перевіряє кадри, тоді як Genie створює візуальний ряд. У пов'язаному експерименті з робототехніки модель Gemini 4 Argon розбивала завдання на кроки, які Genie 4 симулювала в реальному часі, що вказує на можливість віртуального тестування сценаріїв для роботів перед їх реальним впровадженням. Серед потенційних застосувань, названих командою, — створення прототипів ігор, симуляція робототехніки, створення сторибордів для кіно та інтерактивне навчання. До поточних обмежень належать періодичне відхилення дрібних деталей під час довших симуляцій, а також труднощі із забезпеченням точності звуку та розбірливості тексту всередині світу.