Nvidia объявила об открытии исходного кода Audio2Face — технологии на базе искусственного интеллекта, которая создаёт реалистичные анимации лица на основе звукового ввода. Компания объяснила своё решение стремлением ускорить внедрение аватаров на базе ИИ в видеоигры и 3D-приложения.
Audio2Face анализирует акустические характеристики, такие как фонемы и интонации, чтобы создать поток анимационных данных, которые затем сопоставляются с мимикой персонажа. Эти данные можно визуализировать офлайн для заранее подготовленного контента или транслировать в режиме реального времени для ИИ-персонажей, обеспечивая точную синхронизацию губ и эмоциональную выразительность.
Также Nvidia открыла исходный код фреймворка для обучения Audio2Face, чтобы любой желающий мог дорабатывать и настраивать готовые модели компании для конкретных сценариев использования.
Полный набор инструментов с открытым исходным кодом от Nvidia:
Технология открытого исходного кода позволяет разработчикам, студентам и исследователям изучить и развивать современный код. Такой подход создаёт обратную связь, обеспечивая сообщество возможностью добавлять новые функции и оптимизировать технологию для различных сценариев использования, написали в Nvidia. Компания призвала присоединяться к сообществу разработчиков Audio2Face в Discord и делиться своими работами.
Технологию широко применяют в игровой сфере, медиа и индустрии развлечений, а также в сегменте обслуживания клиентов. В свои продукты Audio2Face интегрировали Convai, Codemasters, GSC Games World, Inworld AI, NetEase, Reallusion, Perfect World Games, Streamlabs, UneeQ Digital Human и другие студии.
Компания-разработчик платформы для создания 3D-персонажей Reallusion интегрировала Audio2Face в свой набор инструментов. Руководитель отдела инноваций Reallusion Элвис Хуан отметил, что Audio2Face использует ИИ для создания выразительной многоязычной анимации лиц на основе аудио.
Audio2Face — это часть масштабной платформы Nvidia ACE, которая предназначена для оборудования американской компании. Подобные функции могут работать на видеокартах других производителей, но на практике Nvidia, скорее всего, будет оптимизировать своё программное обеспечение для собственного же оборудования.
Источник: habr.com