Genie 3 является развитием вышедших в прошлом году Genie и Genie 2, а также использует технологии, представленные в Veo 3 — например, достоверную симуляцию физики. Модель умеет генерировать виртуальные миры в разрешении 720p с 24 кадрами в секунду, по которым пользователь может перемещаться с помощью стрелок. Важное качество для таких моделей — стабильность сцены, так как ИИ могут «забывать» про существование каких-то предметов или, например, менять их внешний мир. Если в Genie 2 этот показатель равнялся 10-20 секундам, то в новой версии Google обещает несколько минут.
Модель умеет генерировать миры со множеством деталей, от реалистичной воды и освещения до транспортных средств вроде водного мотоцикла или квадроцикла, которые можно использовать для перемещения. Genie 3 создает сцены в разных стилях, от анимации до фотореализма, с техникой, постройками и живыми существами в кадре. У сцен могут быть реальные прототипы — один из демо-роликов показывает путешествие по Венеции на лодке. Наконец, в промпте можно прописывать глобальные события, которые произойдут через некоторое время после начала путешествия по миру — например, появление дракона на улицах Лондона.
Модели типа Genie 3 важны для будущих интерактивных миров в виртуальной реальности, а также для тренировки ИИ-агентов. Например, в Google разрабатывают Scalable Instructable Multiworld Agent (SIMA), который, будучи помещенным в созданный при помощи Genie 3 мир, сможет учиться перемещаться по нему и взаимодействовать с объектами. Полученные таким образом знания считаются важным этапом для создания новых поколений ИИ.
В Google признают, что Genie 3 пока далека от совершенства. Модель пока не может создавать действительно огромные миры, а в случае с реальными локациями — не способна воспроизводить их с географической точностью. На данный момент Genie 3 плохо рендерит текст и не справляется со взаимодействиями между несколькими ИИ-агентами. Доступ к модели на данный момент доступен только тестировщикам, которых отбирает Google.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com