Исследователи Университета Цинхуа, Гонконгского университета науки и технологий, Университет имени Сунь Ятсена и компании Tencent представили Hunyuan Portrait — нейросеть, которая анимирует портреты людей. Модель справляется с задачей лучше конкурентов.
На вход нейросеть получает два файла: референсное изображение и видеоролик с лицом человека, которое изображает нужные эмоции. При этом референсное изображение может быть как фотографией, так и рисунком. В основе Hunyuan Portrait используется диффузионная модель, которая анимирует изображение с учётом ролика с примером. На выходе пользователь получает видео.
Авторы проекта отмечают, что Hunyuan Portrait сохраняет черты лица человека и точно копирует эмоции. В тестах нейросеть сравнили с TPSM, DaGAN, MCNET, MRFA, Live Portrait, FADM, AniPortrait и Follow Your Emoji. Альтернативные решения уступают по качеству и количеству деталей.
Примеры доступны на сайте проекта, а более подробно о методе генерации рассказали в тексте исследовательской работы. Код проекта пока не опубликовали. Разработчики отмечают, что код и веса модели появятся на GitHub после ревью.
Источник: habr.com
Похожие новости:
Tencent представила Hunyuan-Large — крупнейшую открытую модель с 389 миллиардами параметров
Игровая компания из Китая — Tencent — представила свой ИИ Hunyuan-T1
Hunyuan-T1 от Tencent: модель, которая бросает вызов OpenAI
Tencent выпустила новую ИИ-модель Hunyuan T1: она обходит GPT 4.5 и DeepSeek R1