Нейросеть умеет считывать мимику и жесты пользователя
Компания Runway, известная своими инновациями в сфере генеративных медиа, объявила о запуске нового инструмента Act-One в рамках ИИ-модели Gen-3 Alpha. Это инструмент для создания выразительных анимаций персонажей использует видео и голосовые выступления в качестве исходных данных.
Одним из ключевых отличий Act-One от традиционных подходов к анимированному контенту является отказ от сложных и многоэтапных рабочих процессов. Обычно для лицевой анимации используют системы захвата движения, множество референсных кадров и ручную оснастку. Всё это требует серьезных технических ресурсов, чтобы перенести игру актера на 3D-модель, что особенно важно в анимационном конвейере. Однако, такие методы нередко теряют эмоциональные нюансы референсных кадров, что отражается на конечном качестве видео.
Act-One предлагает принципиально новый подход. Модель работает исключительно на основе актерской игры, без необходимости использования дополнительного оборудования, что значительно упрощает процесс анимации. Такой подход позволяет сохранять реалистичные мимические выражения и точно передавать эмоции даже на персонажах, чьи пропорции сильно отличаются от исходного видео.
А еще Act-One может создавать кинематографичные и реалистичные сцены, сохраняя высокое качество анимации лиц персонажей под любым углом камеры. Это дает художникам возможность разрабатывать правдоподобных персонажей, которые обладают подлинными эмоциями и могут вызывать отклик у зрителя.
Источник: hi-tech.mail.ru