Stability AI показала модель машинного обучения Stable Video 4D, предназначенную для генерации новых ракурсов для видео. Нейросеть доступна бесплатно для исследователей, некоммерческих проектов и компаний с годовым доходом до миллиона долларов.
На входе нейросети надо передать видео, на основе которого она будет создавать новые ракурсы. После этого надо указать желаемые углы обзора. За один раз модель по умолчанию может сгенерировать до восьми ракурсов, но это количество можно изменить. Главная неприятность пока в том, что Stable Video 4D пока создаёт по пять кадров для каждого ракурса. В будущем разработчики планируют увеличить этот показатель.
Нейросеть можно запустить локально, но для этого надо будет использовать сразу три модели: Stable Video 3D_U, Stable Video 3D_P и Stable Video 4D. Кроме того, потребуется минимум 16 ГБ видеопамяти. Разработчики не сообщают точные технические характеристики компьютера для локального запуска нейросети.
Модель опубликовали на портале Hugging Face, также её можно найти в GitHub-репозитории со всеми нейросетями для работы с видео от Stability AI. Компаниям и частным лицам, которые будут использовать Stable Video 4D для коммерческой деятельности и зарабатывают больше миллиона долларов, должны запросить разрешение.
Источник: habr.com
Похожие новости:
Stability AI представила систему синтеза 3D-объектов из отдельных изображений Stable Video 3D
Stability AI представила Stable Video 3D: генерирует видео с объёмными объектами на основе одной фотографии
Stability AI выпустила модель Stable Cascade для генерации изображений
Создатели Stable Diffusion представили «облегчённый» генератор картинок Stable Cascade