Исследователи Tencent представили WorldClaw — экспериментальную систему AI‑агентов, которая по текстовым запросам собирает 3D‑сцены с рельефом, отдельными регионами, растительностью, зданиями и другими объектами. Содержимое сцены при этом можно редактировать.
Система работает не как единая модель, а как набор специализированных AI‑агентов. Сначала система разбирает промпт и составляет спецификацию мира: определяет регионы, типы рельефа, материалы, объекты и пространственные отношения. Затем, уже следующий агент превращает спецификацию в карту регионов и рассчитывает глобальную карту высот, на которой могут сочетаться горы, каньоны, дюны и другие формы рельефа.
За наполнение мира отвечает сразу несколько генеративных моделей. GPT‑Image-2 создаёт семантическую карту сцены, референсы объектов и промежуточные изображения. Hunyuan3D превращает изображения камней, растений и других повторяющихся элементов в 3D‑модели. Поверхности создают с помощью сгенерированных текстур или процедурно.
Более сложные участки WorldClaw прорабатывает отдельно: система вначале рендерит выбранную область уже созданного ландшафта, а уже после создаёт нужную композицию, например, поселение, причал или другую постройку.
После сборки мира начинается этап проверки. WorldClaw делает диагностические рендеры в Blender, ищет объекты неправильного масштаба или ориентации, зависшие над землёй или слишком глубоко ушедшие в поверхность, а затем корректирует их. Если надо, то Hunyuan3D заново перестраивает геометрию и текстуры отдельных объектов.
В экспериментах исследователи использовали Claude Opus 4.8 в качестве управляющей модели. Её дополнили специализированными навыками для GPT‑Image-2, SAM3, SAM3D, Hunyuan3D и инструментов 3D‑редактирования. Тесты проводили на сервере с четырьмя графическими ускорителями Nvidia H20. За создание рельефа, размещение объектов и доработки сцен использовали Blender 5.1.1. Для крупных объектов система генерировала PBR‑текстуры с разрешением 2048 × 2048 пикселей, для небольших — 1024 × 1024.
Авторы проекта показали четыре сцены: тропический пиратский остров, каньон с рекой и племенными поселениями, пустынное поле боя и заснеженную горную долину с футуристическими сооружениями. В исследовании отмечают, что WorldClaw генерирует не просто красивые, а структурированные 3D‑мир. Благодаря этому сгенерированные сцены можно редактировать и дорабатывать вручную, а объекты на карте — перемещать, заменять и повторно использовать.
Источник: habr.com