Сбер выложил в открытый доступ Kandinsky Avatar 1.0 — семейство российских моделей, которое создаёт говорящие видеоаватары по изображению и записи голоса. Разработчики могут использовать модели в собственных сервисах, в том числе коммерческих. Об этом редакции Trashbox.ru сообщили в пресс-службе Сбербанка. Telegram-канал создателя Трешбокса про технологии
Чтобы создать видеоаватар, модели достаточно изображения, аудиозаписи и короткого текстового описания сцены. Kandinsky Avatar синхронизирует движения губ с речью и сама добавляет мимику, повороты головы и жесты. Эмоцию персонажа можно задать текстом — аватар будет выражать радость, грусть или злость. Модель не синтезирует и не клонирует голос: она работает только с изображением и аудиозаписью, которые предоставляет пользователь.
Kandinsky Avatar делает ролики длиной до минуты с частотой 24 кадра в секунду и способна оживлять не только людей, но и персонажей: животных или мультипликационных героев. Модель создаёт видео на любом языке — аватар говорит на языке аудиозаписи, которую ей передали.
Модель доступна в двух версиях. Флагманская Pro создаёт видео в HD-разрешении и, по данным Сбера, работает на одном уровне с HeyGen — одним из лидеров рынка коммерческих видеоаватаров. Компактную Lite можно запустить на домашней видеокарте: она генерирует видео в SD и по качеству сопоставима с открытыми моделями, превосходящими её по размеру в 7–10 раз. Модели обучены более чем на 1 млн фрагментов видео: интервью, выступлений и подкастов на 95 языках, включая русский, английский, казахский, испанский и французский.
В слепом тесте ролики Kandinsky Avatar 1.0 Pro выбирали чаще, чем видео конкурентов: в 63% случаев с Kling Avatar 2, в 60% — с LongCat-Avatar-1.5 и в 54% — с HeyGen IV. Самый большой отрыв модель показала в синхронизации губ с речью: по этому критерию её предпочли в 77% сравнений с LongCat-Avatar-1.5, в 76% с Kling Avatar 2 и в 69% с HeyGen IV.
Код и веса моделей доступны бесплатно под открытой лицензией MIT на GitHub, GitVerse и Hugging Face. Моделью также можно будет воспользоваться в инструментах для запуска и интеграции нейросетей — ComfyUI и Diffusers. Сбер планирует добавить Kandinsky Avatar в свои сервисы.
Источник: trashbox.ru