Netflix совместно с исследователями из Софийского университета создал ИИ-модель VOID (Video Object and Interaction Deletion). Она решает задачу, с которой не справляются обычные инструменты: не просто удаляет объект с видео и «заклеивает» дыру статичным фоном, а пересчитывает физику сцены после его исчезновения.
Работает это следующим образом: пользователь загружает видео и текстом описывает, какой предмет или персонаж нужно убрать. Модель с помощью специальной четырёхканальной маски определяет не только сам объект, но и все зоны его влияния — опоры, смещённые предметы, тени, блики. После удаления VOID прогнозирует, как должны вести себя оставшиеся объекты с учётом законов физики.
Примеры из тестов:
В опросах с участием 25 человек VOID набрала 64,8% предпочтений, обогнав Runway (18,4%) и другие инструменты вроде ProPainter или DiffuEraser. Главное преимущество — реалистичное изменение физики сцены, а не просто маскирование.
VOID выложена в открытый доступ на Hugging Face. Netflix пока не объявлял, что будет использовать её в своих проектах. Статья с описанием находится в формате препринта и ещё не прошла рецензирование.
Источник: www.playground.ru