Американский ИИ-стартап Runway представил инструмент генерации видео на основании мимики человека. Инструмент называется Act-One.
Как сообщили разработчики Act-One в пресс-релизе, предлагаемую ИИ-модель можно применять для создания «эталонных изображений», при этом сохраняется реалистичная мимика, которую нейросеть преобразует в персонажей с пропорциями, отличными от исходного видео.
Продукт Runway — необычная модель искусственного интеллекта: «представляет собой значительный шаг вперёд в использовании генеративных моделей для создания выразительного живого действия и анимационного контента». Кроме того, что система распознаёт лицо человека, может считывать мимику для формирования анимационного образа.
Как сказано в сообщении разработчиков, Act-One позволяет создавать повествовательный контент, используя только камеру «потребительского класса и одного актёра, читающего и исполняющего разных персонажей по сценарию».
Разработчики изучают возможности Act-One по созданию сложных, выразительных сцен с диалогами, которые в прошлом было затруднительно создавать с помощью моделей для генерации видео.
«Модель также демонстрирует кинематографическую и реалистичную производительность и отличается удивительной устойчивостью при различных углах обзора камеры, сохраняя при этом высокую точность анимации лиц. Эта возможность позволяет создателям разрабатывать правдоподобных персонажей, которые передают подлинные эмоции и экспрессию, усиливая связь зрителя с контентом», — сказано в пресс-релизе Runway.
Источник: www.ferra.ru
Похожие новости:
Runway анонсирует API для своих ИИ-моделей, генерирующих видео
Runway представила Act-One — функцию генерации анимированных персонажей с помощью мимики и жестов пользователя
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»
ИИ-стартап Genmo запускает открытую модель для генерации видео Mochi 1, которая может стать конкурентом Runway