Netflix сделал доступной для всех желающих нейросеть под названием VOID, которая умеет вырезать из роликов любые объекты и при этом менять поведение остальных элементов так, будто удалённого предмета никогда не существовало. Большинство существующих инструментов для удаления объектов из видео просто закрашивают их или заполняют фон, но если объект с чем-то взаимодействовал, то взаимодействие останется, но с невидимым объектом.
VOID анализирует сцену, понимает, какие последствия вызвал удаляемый объект, и перестраивает их и если убрать человека, прыгающего в бассейн, вода останется гладкой — ни брызг, ни волн не будет.
Зелёный фон нового поколения
Модель состоит из двух часте и сначала визуально-языковая её часть определяет области кадра, которые пострадают от удаления объекта, а затем видео-диффузионная модель перерисовывает эти области с учётом физики. Предусмотрен и дополнительный проход, который исправляет возможные искажения геометрии предметов. Обучали нейросеть на синтетических датасетах, где заранее были подготовлены пары видео — с объектом и без него.
Модель всё ещё может ошибаться — разработчики прямо говорят о возможном «морфинге» объектов при первом проходе. Но второй проход, по их заверениям, это исправляет. Пока что VOID — инструмент для тех, кто разбирается в машинном обучении, а установка и запуск требуют навыков работы с кодом. Однако сам факт того, что Netflix открыл такую технологию, говорит о том, что через пару лет подобные функции могут стать стандартом в видеоредакторах вроде Premiere Pro или DaVinci Resolve.
Как скоро ИИ заменит режиссёров?
Пока что нейросеть остаётся любопытным экспериментом, который показывает, что физику в видео можно не просто симулировать с нуля, но и переписывать. Вес модели занимает 22,3 ГБ, а исходный код выложен на GitHub и Hugging Face и любой разработчик может скачать её и использовать в своих проектах.
Как думаете, такие инструменты упростят монтаж фильмов или приведут к новым волнам фейковых видео?
НовостиЖелезо и технологииискусственный интеллект
Источник: vgtimes.ru