Google DeepMind выпустила Genie 4 — новую модель для создания интерактивных виртуальных миров в реальном времени. Здесь можно перемещаться по сгенерированному окружению, взаимодействовать с ним и менять происходящее прямо во время симуляции.
Главное нововведение — нативная генерация звука. Теперь Genie создаёт не только изображение, но и звуковое сопровождение: шум ветра, звуки окружающей среды, музыку и даже диалоги персонажей. Причём реплики могут меняться в зависимости от действий пользователя и происходящих событий.
Миром можно управлять обычными текстовыми командами. Например, попросить изменить погоду, добавить нового персонажа или переместить камеру. Модель перестраивает сцену на лету, без необходимости запускать генерацию заново.
За происходящим следят модели Gemini. Gemini 3.8 Flash работает как управляющий агент: анализирует генерируемые кадры, разбивает задачи на последовательные шаги и проверяет, что происходит в симуляции. Gemini Omni помогает привязать визуальную часть к реальному миру, а Gemini 4 Argon экспериментально используют для планирования более сложных сценариев.
По словам разработчиков, Genie 4 также лучше справляется с физикой: столкновениями, аэродинамикой и движениями людей. Персонажи также должны естественнее реагировать на изменения окружения.
Среди возможных применений — тренировочные среды для роботов и ИИ-агентов, быстрое прототипирование игровых механик и предварительная визуализация сцен для кино. Например, режиссёр может менять освещение, ракурс и действия персонажей прямо во время просмотра сцены, а разработчик — исследовать игровой прототип до написания полноценного кода.
Правда, до полноценного игрового движка ещё далеко. Длительность симуляции пока ограничена примерно двумя минутами, а при продолжительной работе модель может терять детали окружения, менять внешний вид объектов и ошибаться в физике. Точность звука, пространственная согласованность и генерация читаемого текста тоже остаются проблемными местами.
Сейчас Genie 4 доступна ограниченному кругу тестировщиков. Позже Google планирует открыть доступ подписчикам AI Ultra через Project Genie и партнёрам через Gemini API и Google AI Studio. Точных сроков и тарифов пока нет, но уже можно записаться в лист ожидания.
Источник: habr.com