Компания Tencent анонсировала Yan — фундаментальный фреймворк, предназначенный для симуляции, генерации и редактирования интерактивного видео в реальном времени, ориентированный на создание игровых миров. Эта технология рассматривается как ответ на модель Genie от Google, предлагая комплексное решение для создания динамичного игрового контента.
Фреймворк Yan состоит из 3 ключевых модулей, каждый из которых выполняет свою уникальную функцию.
Первый компонент, Yan-Sim, отвечает за симуляцию окружения. Он обеспечивает высококачественную генерацию интерактивного видео с разрешением 1080p и частотой 60 кадров в секунду. Для достижения такой производительности и интерактивности разработчики преобразовали диффузионную модель в каузальную архитектуру. Это позволяет каждому новому кадру зависеть от предыдущих и от действий игрока, создавая непрерывный и отзывчивый игровой процесс.
Второй модуль, Yan-Gen, занимается синтезом контента на основе мультимодальных входных данных, таких как текст и изображения. В его основе лежит диффузионный трансформер, который обрабатывает текстовые подсказки, визуальные референсы и токены действий через специализированные кодировщики. Затем он объединяет эти данные, что позволяет гибко смешивать стили и механики из разных доменов в соответствии с запросами пользователя.
Третий элемент, Yan-Edit, предоставляет инструменты для точного контроля и редактирования сгенерированного видео в реальном времени. Модуль разделяет структурные и стилистические правки. Структурные изменения, например, добавление в мир интерактивного объекта или изменение его расположения, обрабатываются симулятором механик. В то же время, изменения стиля, такие как цвет или материал объекта, контролируются визуальным рендерером. Связующим звеном между ними выступает карта глубины, которая сохраняет геометрию и физику сцены при внесении стилистических правок.
Источник: www.playground.ru