Исследователи Университета Карнеги — Меллона представили нейросеть LegoGPT, которая генерирует схемы сборки моделей из деталей Lego. Код проекта открыт, а на Hugging Face есть бесплатное демо.
На вход нейросеть получает текстовое описание модели из деталей конструктора Lego. По этим данным система генерирует три файла:
output.png — изображение модели в сборе.
output.txt — пошаговую схему сборки в текстовом формате.
Схема сборки в формате .txt1x2 (16,17,0) 1×1 (16,13,0) 2×2 (0,17,0) 2×1 (0,13,0) 1×1 (17,18,1) 1×6 (17,12,1) 2×6 (15,12,1) 1×6 (14,12,1) 8×1 (9,18,1) 1×1 (8,18,1) 6×2 (8,16,1) 6×2 (8,14,1) 6×2 (8,12,1) 6×2 (2,16,1) 6×2 (2,14,1) 6×2 (2,12,1) 8×1 (0,18,1) 2×6 (0,12,1) 2×6 (16,13,2) 2×1 (16,12,2) 1×1 (15,18,2) 2×6 (14,12,2) 1×6 (13,12,2) 2×6 (11,12,2) 6×1 (9,18,2) 2×6 (9,12,2) 2×6 (7,13,2) 2×6 (5,13,2) 4×1 (5,12,2) 1×1 (4,18,2) 2×6 (3,12,2) 2×1 (2,18,2) 2×6 (1,12,2) 2×1 (0,18,2) 1×6 (0,12,2) 1×6 (17,12,3) 2×1 (16,18,3) 1×1 (16,17,3) 1×2 (15,17,3) 2×4 (15,13,3) 2×1 (15,12,3) 2×1 (13,18,3) 8×1 (5,18,3) 1×1 (4,18,3) 2×1 (2,18,3) 2×6 (0,13,3) 2×1 (0,12,3) 1×1 (17,18,4) 2×6 (16,12,4) 1×2 (15,17,4) 6×2 (9,18,4) 1×2 (8,18,4) 6×2 (2,18,4) 2×1 (0,18,4) 2×6 (0,12,4) 2×1 (16,16,5) 2×4 (16,12,5) 6×2 (12,17,5) 8×1 (9,19,5) 1×1 (8,19,5) 6×2 (6,17,5) 8×1 (0,19,5) 6×2 (0,17,5) 2×1 (0,16,5) 2×4 (0,12,5) 1×2 (17,18,6) 2×1 (16,17,6) 4×2 (13,18,6) 6×2 (7,18,6) 1×2 (6,18,6) 6×2 (0,18,6) 2×1 (0,17,6) 1×2 (16,18,7) 2×2 (14,18,7) 6×2 (8,18,7) 6×2 (2,18,7) 2×2 (0,18,7)
output.ldr — схему в формате LDraw, который используют в программах Lego CAD.
Исследователи отмечают, что нейросеть генерирует устойчивые модели, в которых детали прикреплены друг к другу. Также в репозитории есть код для системы текстурирования моделей. Авторы проекта подчёркивают, что LegoGPT — дообученнная версия Llama-3.2-1B-Instruct.
На чём обучали LegoGPT
В качестве датасета использовали данные из набора ShapeNetCore. На основе каждой трёхмерной модели исследователи создали фигурки из деталей Lego в разных стилях, сохраняя общую форму. После этого модели проверили на целостность с помощью Gurobi, чтобы не было блоков, которые ни за что не держатся. На основе каждой модели создали кадры с 24 ракурсов и сгенерировали подробные описания с помощью GPT-4o от OpenAI.
Всего в датасете 47 тыс. фигур из деталей Lego, созданных на основе 28 тыс. 3D-моделей. Все модели вписываются в область 20 × 20 × 20 единичных кирпичиков конструктора. Также исследователи отмечают, что обучали нейросеть на объектах из 21 категории, включая мебель, автомобили, музыкальные инструменты, корабли и предметы интерьера. Поэтому нейросеть не может генерировать предметы других типов.
Как получить доступ
Код LegoGPT опубликован в открытом GitHub-репозитории. На портале Hugging Face доступно бесплатное демо. В нём нет функции текстурирования фигур и экспорта в формате LDraw. Также исследователи поделились датасетом, на котором обучали нейросеть. В репозитории есть инструкции по локальному запуску и файн-тюнингу LegoGPT.
Источник: habr.com
Похожие новости:
Игрушка нашего времени: LegoGPT создаёт 3D-модели из кубиков LEGO по текстовому описанию
ИИ обучили создавать конструкции из LEGO и делиться инструкциями
McLaren построила полноценный гиперкар из LEGO: он успешно проехался по гоночному треку
LEGO начнет сама выпускать игры — без помощи сторонних студий