Разработчики китайской компании Tencent обновили модель машинного обучения Hunyuan3D. В версии 2.1 добавили поддержку физически корректного рендеринга, благодаря чему нейросеть генерирует 3D-объекты с учётом того, как свет взаимодействует с различными материалами. Код модели, веса, инференс и пайплайны полностью открыты.
Проект Hunyuan3D разработчики Tencent представили осень 2024 года. Первая версия нейросети могла генерировать 3D-объекты по текстовому описанию или картинке. При этом модель работала быстрее и точнее существующих решений за счёт разделения процесса генерации на два этапа. На первом диффузионная модель генерировала несколько RGB-изображений объекта с разных сторон, а на втором — изображения собирали в один трёхмерный объект.
Зимой 2025 года разработчики выпустили обновление Hunyuan3D 2.0. Команда улучшила модель, предназначенную для генерации трёхмерных объектов и включила Hunyuan3D-Paint — нейросеть, отвечающую за создание текстур. За счёт этого сгенерированные объекты стали получаться более точными и детализированными.
Сейчас инженеры представили Hunyuan3D 2.1. В обновлении заменили модель для текстурирования на основе RGB, на более продвинутый алгоритм, который использует принципы физически корректного рендеринга (Physically based rendering, PBR). Благодаря этому нейросеть теперь генерирует фотореалистичные 3D-объекты и точно передаёт свойства материалов.
В тестах Hunyuan3D 2.1 превосходит конкурентов по качеству и скорости:
Само семейство Hunyuan3D 2.1 включает в себя две модели машинного обучения:
Модель
Описание
Размер
Ссылка
Hunyuan3D-Shape-v2-1
Генерирует 3D-объект на основе изображения
3,3B
Hugging Face
Hunyuan3D-Paint-v2-1
Текстурирует 3D-объект
2B
Hugging Face
Авторы проекта отмечают, что для генерации 3D-объекта надо 10 ГБ видеопамяти, для генерации текстур — 21 ГБ, а для создания фигур и текстур — 29 ГБ. Это довольно демократичные требования, которые позволят запускать модель на потребительских видеокартах.
Код проекта полностью открыт. Разработчикам доступны веса, инференс и пайплайны. Благодаря этому Hunyuan3D 2.1 можно без особых проблем дообучить или модифицировать. Протестировать нейросеть можно на портале Creation Engine.
Источник: habr.com