Разработчик Тимоти Барнс (Timothy Barnes) выпустил Build with Bombs — нейромод для Minecraft, который генерирует дома с помощью воксельной диффузии. Генерация запускается взрывом блока динамита.
Автор проекта рассказал, что работал над моделью воксельной диффузии для DirectX и в процессе решил, что разработку можно перенести в Minecraft. Для этого нейросеть обучили на 3 тыс. простых зданий с карты Greenfield 0.5.4. Разработчик отмечает, что у нейросети всего 23 млн параметров, а на обучение ушла одна ночь. Также автор рассказал, что у него нет специального оборудования, поэтому обучать модель пришлось на видеокарте RTX 4090.
В итоге получилась нейросеть, которая после взрыва блока динамита начинает генерировать дом. В демонстрации на генерацию уходить 10-15 секунд, но разработчик планирует сократить это время, оптимизировав модель. Также разработчик отмечает, что в демо нейросеть запущена на RTX 2060. На CPU мод пока не протестировали.
Код проекта открыт и опубликован на GitHub. Для работы с модом рекомендуется использовать следующие версии ПО:
neoforge 21.1.77;
Minecraft 1.21.1;
TensorRT 10.5.0.18;
CUDA 12.6.
Также у автора проекта есть блог, в котором он планирует опубликовать статью с разбором технических деталей и решений.
Источник: habr.com