Ранний пример того, как выглядят созданные DogRecon трёхмерные собаки в виртуальной среде
Учёные из Ульсанского национального института науки и технологий (Южная Корея) создали систему ИИ, которая открывает возможность взять пушистого друга в виртуальный мир. Их проект DogRecon умеет превращать всего одну фотографию собаки в реалистичную трёхмерную цифровую модель для виртуальной или дополненной реальности.
Пока технология далека от массового применения, но, благодаря особому механизму нейросетевых весов, DogRecon создаёт более чёткие и правдоподобные изображения, чем другие модели ИИ, часто грешащие смазанными картинками и неверной анатомией. Подробные результаты команда представила в журнале International Journal of Computer Vision.
В демонстрационном видео можно увидеть первые примеры. Сгенерировав 3D‑аватаров, исследователи управляют ими с помощью простых текстовых команд.
«Более чем в четверти семей есть домашние животные, и расширение технологий 3D‑реконструкции — традиционно сосредоточенных на людях — на четвероногих компаньонов всегда было нашей целью, — объясняет первый автор исследования, Кёнгсу Чо. — DogRecon даёт каждому возможность создать и оживить цифровую версию своего питомца».
От 2D-фотографии к 3D-аватарам
За последние годы был сделан заметный рывок в реалистичности человеческих аватаров в виртуальных пространствах, но четвероногим друзьям внимания уделялось меньше. Учёные объясняют это просто: питомцы, особенно собаки, анатомически сложнее. Сотни пород — каждая со своими пропорциями, размерами и особыми чертами. А ещё у собак четыре лапы, и их стойка создаёт дополнительные «перекрытия» суставов, что сильно усложняет точное 3D‑моделирование.
Все эти переменные множат шанс на ошибки при создании цифровых собак. Но исследователи уверены: отсутствие реалистичных питомцев в виртуальной реальности подрывает само правдоподобие так называемых метавселенных.
«Несомненно, методы, разработанные для человека, важны, но люди — лишь крохотная часть настоящего биоразнообразия», — пишут они.
Щенки DogRecon играют в цифровом дворе
Чтобы справиться с задачей, команда сначала использовала статистические ИИ‑модели, учитывающие особенности конкретных пород, их форму тела и позы. Затем в ход пошла генеративная модель, создающая многопроекционные изображения, геометрически согласованные с формой собаки. В результате система брала одну фотографию (на этот раз реальные снимки из интернета) и позволяла предсказать, как животное выглядело бы и двигалось под разными углами.
Разумеется, не все «догадки» ИИ совпадали с тем, как собака должна выглядеть в реальности. Поэтому исследователи внедрили механизм взвешивания, чтобы отдавать приоритет наиболее естественным результатам и отсекать искажённые или странные изображения — частую болезнь сырых генеративных моделей. Весовые коэффициенты задавали системе рамки, направляя её к более убедительным вариантам. Сравнив DogRecon с другими ИИ, умеющими строить видео по картинке, учёные заметили: их разработка стабильно даёт более анатомически точные результаты.
И всё же до совершенства далеко. Созданные DogRecon 3D‑модели действительно напоминают свои породы, но в VR‑ и AR‑примерах выглядят несколько чужеродно и даже слегка комично.
Делегируйте рутинные задачи вместе с BotHub! По ссылке вы можете получить 100 000 бесплатных капсов и приступить к работе с нейросетями прямо сейчас.
Источник: habr.com