Autodesk представила 3D Editor и Canvas для Flow Studio – инструменты, которые позволяют сначала собрать и поставить сцену в 3D, а уже потом использовать генеративные модели для получения изображения или видео.
ссылка на полный ролик
Главное отличие от привычного text-to-video – режиссёру не приходится пытаться описать всю постановку промптом. Положение камеры, персонажей и композицию можно задать заранее и затем использовать эту структуру при генерации разных вариантов кадра.
Рабочий процесс начинается в 3D Editor, где сцены формируются в полностью редактируемой 3D-среде, затем переходит в Canvas, где вы создаете, уточняете и повторяете кадры с помощью рабочих процессов искусственного интеллекта на основе узлов, основанных на ведущих моделях генерации изображений и видео.
В 3D Editor можно размещать персонажей и окружение, управлять объектами, анимацией и камерами, использовать keyframes и собирать последовательность на таймлайне. Персонажей можно создавать через Wonder 3D, автоматически добавлять им скелет для управления движениями и анимировать.
Насколько хорошо такой подход будет работать не в демо, а при производстве сотен связанных между собой шотов, посмотрим.
Источник: habr.com