Alibaba представила семейство моделей генерации видео Wan 2.2 с открытыми весами. Веса и исходный код опубликованы на GitHub, также доступен workflow для ComfyUI. Качество заявляется на уровне KLING 2.0 и Haiulo 02, а вот Veo3 в сравнение включать не стали.
Для загрузки доступны три версии. Компактная Wan2.2-IT2V-5B может создавать видео из текста или картинки и работает на RTX 4090. Для работы в облаке доступны более тяжелые Wan2.2-T2V-A14B и Wan2.2-I2V-A14B, соотвественно, «специализируются» на создании роликов только из текста и из картинки.
Разработчики хвалятся, что создали первую диффузную видеомодель с архитектурой MoE — Mixture of Experts. «Эксперт по высокому шуму» отвечает за общую композицию картинки и движение, а «эксперт по низкому шуму» — за детали. Это позволило сэкономить до 50% вычислительной мощности — на RTX 4090 5B-модель генерирует ролики в разрешении 720p.
В Wan 2.2 предусмотрено множество настроек для генерируемого ролика: разный свет и цветовая температура, композиция, микромимика и пр. Отдельно разработчики выделяют способность модели правильно воспроизводить движения в сложных сценах вроде групповых танцев и единоборств.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com