В репозиторий популярного мультимедийного пакета FFmpeg была добавлена полноценная поддержка технологии Frame Rate Up-Conversion (FRUC) на базе графического интерфейса Vulkan. Новый функционал опирается на расширение VK_NV_optical_flow и напрямую задействует аппаратные блоки NVIDIA Optical Flow, которые компания развивает в графических ускорителях начиная с архитектуры Ada Lovelace.
Технология FRUC предназначена для увеличения частоты кадров видео за счет вставки сгенерированных промежуточных кадров. Аппаратная интерполяция на видеокартах призвана существенно повысить плавность воспроизведения медиаконтента без избыточной нагрузки на центральный процессор, однако для ее работы требуется поддержка соответствующего расширения в драйвере Vulkan.
Одновременно с внедрением FRUC в основной ветке FFmpeg Git состоялось слияние набора фильтров NVIDIA RTX Video Filters. Масштабный патч добавил почти 6000 строк кода в 16 файлов мультимедийного фреймворка, открывая доступ к алгоритмам обработки изображения на базе CUDA и нейросетевых моделей.
В состав обновленного инструментария вошли фильтр динамической насыщенности RTX Dynamic Vibrance на основе нейросети DeepDVC, масштабирование видео с применением технологий DLPP и NGX Image Super Resolution, а также модуль генерации кадров Smooth Motion. Кроме того, в кодовую базу добавлены алгоритмы интеллектуального апскейла RTX Video Super Resolution и конвертации стандартного контента в расширенный динамический диапазон RTX TrueHDR.
Интеграция новых функций имеет технические нюансы, связанные с закрытым характером компонентов NVIDIA. Исходное дерево FFmpeg не содержит проприетарных весов и скомпилированных ядер, поэтому для сборки фильтров требуется внешний пакет nvidia-video-filters, откуда извлекаются заголовочные файлы и бинарные библиотеки. Скрипт конфигурации проверяет наличие необходимых данных для каждой опции независимо.
Появление инструментов NVIDIA в открытом проекте расширяет возможности сторонних видеоплееров и транскодеров, хотя оценить работу аппаратной генерации кадров и нейросетевого апскейла в полной мере смогут только обладатели современных видеокарт семейства GeForce RTX.
Источник: www.playground.ru