Разработчики сервиса Runway для генерации видео представили функцию Act-One. С её помощью пользователи могут использовать видео со своей мимикой и жестами для создания анимированных персонажей.
В блоге Runway рассказали, что обычно процесс анимации занимает много времени. К тому же для этого требуется специального оборудования для захвата движения и много ручного трекинга. Поэтому анимация дорого обходится, а если надо создать несколько персонажей, то придётся проделать много работы для каждого. Разработчики Runway решили облегчить этот процесс и значительно удешевить его.
Для этого они разработали Act-One — нейросетевую функцию, которая получает на вход запись мимики и жестов актёра, чтобы на основе этих данных создать анимированного персонажа. К тому же одну запись мимики можно использовать для генерации нескольких персонажей в разных стилях. Например, можно создать кадр для мультфильма или фильма. При этом команда проекта отмечает, что поработал над безопасностью, чтобы пользователи не могли использовать Act-One для генерации дипфейков.
Компания уже начала открывать доступ к функции Act-One. В скором времени все пользователи Runway смогут ей воспользоваться.
Источник: habr.com