Компания позиционирует модель, как полноценный профессиональный инженерный инструмент.
ML-подразделение Apple представило модель LiTo, которая восстанавливает трехмерные объекты по одному снимку. В отличие от существующих решений, она сохраняет сложную оптику: отражения, блики и то, как материал меняет вид под разными углами. Это не просто 3D‑сканирование — это перенос физики света в цифровое пространство.
Большинство современных нейросетей, превращающих 2D‑фото в 3D‑модели, отлично справляются с геометрией. Но они почти не понимают оптику. Текстуры получаются «плоскими»: дерево выглядит как раскрашенный картон, стекло — как серая пленка, а металл теряет свой блеск при повороте камеры.
Исследователи из Apple решили эту проблему. Их новая модель LiTo (Light Transport) учится кодировать не только форму объекта, но и его световое поведение — то, как поверхность отражает, преломляет и рассеивает лучи в зависимости от угла обзора и освещения.
Нейросеть одновременно обрабатывает два слоя информации:
Геометрию — точную форму объекта;Световое поле поверхности — компактный набор латентных векторов, описывающих, как объект взаимодействует со светом.
Сначала модель обучают генерировать трехмерные объекты с полной физикой материалов. Затем, с помощью сжатия случайных выборок светового поля, она учится восстанавливать сложные оптические эффекты по одной-единственной фотографии.
В результате LiTo способна «додумать» то, чего не видно на исходном снимке: как заиграют блики на хромированной поверхности, если повернуть объект, или как изменится прозрачность стекла при смене угла.
Источник: hi-tech.mail.ru