Нейросеть Unique3D создаёт 3D-модели объектов по фотографии, прогоняя её через несколько уровней диффузии. Это позволяет увеличить итоговое разрешение модели и сгенерировать недостающие стороны объекта. После этого нейросеть создаёт полигональную сетку на основе карты нормалей. Итоговый объект покрывается текстурой на основе данных исходной фотографии.
Для генерации нейросети надо передать всего одну фотографию объекта с фронтальной стороны. Мы для теста использовали фотографию вязаного Хабраслизня, но сперва удалили с изображения фон. Это можно сделать с помощью самой нейросети, но чтобы не подбирать подходящие параметры — воспользовались встроенной в macOS утилитой.
После просто загрузили изображение и стали ждать. Процесс генерации занял около минуты, а на выходе получили файл в формате .glb, который можно редактировать. Трёхмерный объект получился не идеальным, но всё равно довольно качественным.
Разработчики Unique3D отмечают, что их нейросеть работает лучше аналогов в лице InstantMesh, OpenLRM и CRM. О методе генерации более подробно можно узнать из доклада инженеров. Код доступен на GitHub, а веса модели — на Hugging Face. Протестировать нейросеть можно на демо сайте (вторая ссылка).
Источник: habr.com
Похожие новости:
Вышло обновление Automatic 1111 до версии 1.8.0, что нового и как обновиться?
Google представила Lumiere — нейросеть для генерации реалистичных видео
Мы тут конфу замутили… для эйчаров и рекрутеров: программа HR API 2024
Криоконсервация мозга | Спутниковый 5G в России | Смена пола эмбриону | Робот-дублёр микрохирургии