Nvidia сделала открытым исходный код Audio2Face — технологии на основе ИИ, которая создает реалистичные анимации лиц 3D-персонажей по аудио. Теперь разработчики могут свободно использовать инструмент и его платформу.
Audio2Face анализирует «акустические особенности» голоса, чтобы сгенерировать данные для мимики и движения губ персонажа. Это позволяет персонажам выглядеть естественно как в заранее записанном контенте, так и в режиме реального времени.
Инструмент уже использовался в играх, например, в Chernobylite 2: Exclusion Zone и Alien: Rogue Incursion Evolved Edition.
Кроме того, Nvidia предоставила тренировочную платформу для настраивания модели под нужные задачи.
Источник: www.ferra.ru