Разработчики из Mirelo AI представили обновленную модель Mirelo SFX 2.0, предназначенную для генерации звукового ряда непосредственно на основе готового видеоматериала. Главным новшеством стала возможность полностью переработать звуковую дорожку без необходимости заново генерировать само видео, что решает проблему потери удачных дублей и лишней траты вычислительных кредитов. Алгоритм самостоятельно распознает и сохраняет исходные диалоги персонажей, попутно вырезая ненужную фоновую музыку и генерируя синхронизированные шумы, фоли и интершумы.
Традиционные генеративные видеомодели создают звук вместе с изображением в едином потоке, из-за чего любая ошибка в аудиодорожке требовала повторного рендеринга всего ролика. Текстовые генераторы и библиотеки готовых сэмплов также не решали проблему полноценной автоматизации, поскольку не учитывают визуальный контекст происходящего на экране. В Mirelo SFX 2.0 за основу берется именно видеоряд, благодаря чему звуки шагов, ударов или окружения точно совпадают с действиями в кадре, а акустика сцены автоматически подстраивается под окружение, будь то открытый парк или просторное помещение.
В ходе слепых тестов прослушивания с участием независимых респондентов алгоритм обошел конкурирующие решения. В сравнении со специализированной моделью Sony Woosh разработку Mirelo SFX 2.0 предпочли в 81% случаев. Инструмент Kling Foley уступил новинке с результатом 63% предпочтений, а Sonilo проиграл с 46% голосов против 33%. При сопоставлении со встроенным звуком популярных генераторов видео новинка также показала преимущество: нативное аудио Veo 3.1 Fast посчитали хуже в 57% сравнений, а звук моделей MiniMax H3 Max, Flux 3, Seedance 2.5 и Kling уступил новой системе почти в половине тестов.
Новая версия ориентирована на сквозную обработку готовых монтажных склеек. Если ранее авторам приходилось делить проект на короткие фрагменты и сводить аудио вручную, то теперь обработка хронометража до 10 минут доступна в один проход через веб-редактор и API. Это позволяет сохранять акустическую непрерывность между сценами, исключая перепады фонового шума при смене ракурсов одной и той же локации. Корпоративным клиентам разработчики предлагают снятие ограничений по длительности видео.
Модель распространяется в нескольких вариантах. Базовая версия синхронизирует звуки с картинкой и автоматически настраивает приглушение фона под речь, текстовый режим служит для генерации закадровых шумов, а готовящаяся версия со стэмами позволит генерировать отдельные дорожки для точечного сведения. Инструмент уже доступен в веб-интерфейсе Mirelo, на площадках Runway и Fal, а также в скором времени получит плагины для Adobe Premiere Pro, DaVinci Resolve и платформы Roblox.
Источник: www.playground.ru