Исследовательское подразделение компании NVIDIA представило генеративную систему реконструкции Lyra 2.0: Explorable Generative 3D Worlds, способную превращать одну обычную фотографию или концепт-арт в масштабное трехмерное окружение, по которому можно свободно перемещаться в реальном времени. Главной проблемой ранних видеогенеративных моделей оставались так называемое «пространственное забывание» (spatial forgetting) и временной дрейф (temporal drifting) — стоило виртуальной камере отвернуться от объекта и посмотреть назад, как нейросеть перерисовывала комнату или улицу совершенно иначе. Архитектура Lyra 2.0 полностью решает эту задачу, обеспечивая геометрическую стабильность и постоянство сгенерированного мира на сложных и длинных траекториях движения.
В основе технологии лежит двухэтапный конвейер, объединяющий генерацию видео (на базе диффузионной модели WAN-14B) с трехмерной реконструкцией методом гауссова сплаттинга (3D Gaussian Splatting):
Исходный код, веса модели и интерактивные примеры уже опубликованы инженерами NVIDIA в открытом доступе на платформе Hugging Face.
Активное развитие генеративных инструментов и технологий рендеринга остается главным приоритетом «зеленой» корпорации: ранее на этой неделе видеокарта RTX 5080 показала колоссальный прирост производительности в 220 раз в тестах трассировки лучей с новой технологией DirectX Clustered Geometry, а для любителей истории графических ускорителей NVIDIA выпустила в Steam бесплатный симулятор распаковки легендарной GeForce 8800 GTX с полной трассировкой пути и поддержкой пакета DLSS 4.5.
Источник: www.goha.ru