Компания Tencent анонсировала новую разработку в области генеративного искусственного интеллекта — Hunyuan GameCraft. Эта технология представляет собой нейросетевой движок, способный в реальном времени создавать интерактивные игровые сцены на основе текстовых описаний и действий пользователя.
В основе Hunyuan GameCraft лежит видеомодель Hunyuan Video, которую специально дообучили на геймплейных кадрах из более чем сотни известных ААА-проектов, включая такие игры, как Assassin’s Creed, Red Dead Redemption и Cyberpunk 2077. Благодаря этому подходу, генерируемые сцены в некоторых случаях могут напоминать стилистику и окружение из этих популярных игр. Пользователи могут взаимодействовать с созданным миром, управляя камерой или объектами с помощью клавиатуры и мыши.
Одной из ключевых задач при разработке подобных интерактивных моделей является достижение баланса между стабильностью изображения и отзывчивостью на команды игрока. Чтобы решить эту проблему, авторы проекта применили гибридную стратегию обучения. Модель учится генерировать видео в различных режимах: начиная с одиночного кадра, продолжая короткий видеофрагмент или обрабатывая длинные последовательности. Такой подход позволяет нейросети одновременно сохранять целостность сцены и быстро реагировать на новые вводимые данные, избегая инертности и визуальных артефактов.
Для обеспечения интерактивности важна и скорость работы модели. Чтобы повысить производительность, разработчики использовали метод дистилляции модели в так называемую Phased Consistency Model (PCM). Согласно научной работе, опубликованной на портале arXiv, это позволило значительно ускорить процесс генерации и сократить время отклика на действия пользователя до менее чем пяти секунд, что делает взаимодействие с генерируемым миром более комфортным.
Источник: www.playground.ru