Исследователи из Наньянского технологического университета (Сингапур) представили FastMesh — метод быстрой генерации 3D-мешей. Добиться ускорения удалось благодаря разделению процесса компоновки сеток. Вместо создания треугольников система сперва генерирует вершины, а после восстанавливает по ним грани.
Авторы проекта отмечают, что во всех популярных методах генерации 3D-мешей есть одна и та же проблема: последовательное представление вершин переиспользуют множество раз. Это раздувает длин последовательности и замедляет генерацию.
FastMesh меняет порядок действий во время генерации:
Сперва модель создаёт вершины сетки с помощью авторегрессионной модели. Благодаря этому становится проще поддерживать их число.
После этого двунаправленный трансформер за один шаг восстанавливает грани между вершинами. Его обучают на матрицах смежности, построенными на основе отношений между вершинами.
На финальном этапе подключаются ещё два механизма: один уточняет расположение вершин для получения более естественных конфигураций, а второй — удаляет неудачные рёбра.
С инженерной точки зрения решение простое, но выгодное по скорости генерации и экономии вычислительных ресурсов. Вместо длинной и сложной авторегрессии по полигонам процесс сводят к более компактному этапу единовременного достраивания связей.
Если смотреть по бенчмаркам, то метод FastMesh ускоряет генерацию в более чем восемь раз, если сравнивать с SOTA-подходами. При этом растёт художественное качество статей. Также FastMesh надо на 23% меньше токенов по сравнению с самым компактным из существующих токенизаторов.
Исследователи планируют открыть код метода, но пока на GitHub есть только заглушка со списком задач на будущее. Позже появятся веса, код инференса, обучающий код и демо на Hugging Face. Для запуска требуется Python 3.10 и CUDA 11.8.
Источник: habr.com