Google DeepMind представила Genie 4 — интерактивную модель мира с живым звуком

Google DeepMind представила Genie 4 во вторник, сделав модель немедленно доступной для доверенных тестировщиков; более широкий запуск для подписчиков Google AI Ultra через Project Genie, а также для партнёров с ранним доступом к Gemini API и Google AI Studio ожидается в ближайшие недели. Genie 4 — это модель мира: она создаёт интерактивные виртуальные среды по текстовым или графическим запросам — и представляет собой значительное улучшение по сравнению с предшественником в трёх ключевых областях. Во-первых, она генерирует нативный синхронизированный звук: музыка, фоновые шумы и реактивные диалоги персонажей появляются вместе с симулируемым миром в реальном времени. Во-вторых, она вдвое увеличивает предел согласованности сцены по сравнению с предшественником, сохраняя целостную физику и расположение объектов на протяжении до двух минут. В-третьих, пользователи могут управлять симуляцией по ходу выполнения, вводя запросы для изменения погоды, ракурсов камеры или добавления объектов, что делает процесс по-настоящему интерактивным, а не разовой генерацией. Genie 4 тесно интегрирована с Gemini — моделью ИИ от Google, которая выступает в роли режиссёра, планирующего шаги и проверяющего кадры, в то время как Genie создаёт визуальный ряд. В сопутствующем эксперименте с робототехникой модель Gemini 4 Argon разбивала задачи на шаги, которые Genie 4 симулировала в реальном времени, что указывает на возможность виртуального тестирования сценариев для роботов перед их реальным внедрением. Среди потенциальных применений, упомянутых командой, — создание прототипов игр, симуляция робототехники, создание сторибордов для кино и интерактивное обучение. К текущим ограничениям относятся периодическое искажение мелких деталей при более длительных симуляциях, а также сложности с обеспечением точности звука и разборчивости текста внутри мира.