Модель умеет склеивать сгенерированные ролики с плавными переходами, озвучивать их голосами на русском и английском, и воспроизводить визуальный стиль конкретных фильмов по скриншотам.
Компания ByteDance выпустила вторую версию своей модели для создания видео. Главное отличие от конкурентов в том, что система сама собирает из отдельных фрагментов цельные сцены, добавляя между ними переходы, как это делает профессиональный монтажер.
Пользователь загружает текстовый сценарий, референсные картинки или видео — модель выдает готовый ролик с визуальными эффектами, звуком и музыкой. Максимальная длина одной генерации 15 секунд в разрешении 2K. Но главная фишка в том, что система умеет объединять несколько таких отрезков в связное повествование с естественными склейками.
Инструмент поддерживает восемь языков, среди которых русский и английский. Можно загрузить аудиодорожку, и модель подстроит под нее визуальный ряд — либо написать текст, тогда система сгенерирует голос сама.
Еще одна возможность вызвала шквал обсуждений в соцсетях. Если прикрепить скриншоты из существующего фильма или мультфильма, Seedance 2.0 воссоздает сцену в похожей стилистике. Один из тестировщиков загрузил кадры из китайского анимационного фильма про Нэчжу и в комментариях писали, что без знания оригинала сложно отличить результат от настоящих сцен.
Модель принимает до 12 референсов одновременно: девять изображений, три видеофрагмента и три аудиофайла длиной до 15 секунд каждый. На их основе она создает новый контент, сохраняя общую атмосферу и визуальный язык. Доступны и классические инструменты редактирования — замена персонажей или объектов в кадре, цветокоррекция, добавление спецэффектов. То есть можно взять готовое видео и переделать его: поменять героя, изменить фон, настроить освещение.
Источник: hi-tech.mail.ru