Российские исследователи из Института AIRI и Центра когнитивного моделирования МФТИ разработали метод, который помогает большим языковым моделям лучше работать с трехмерным пространством. Традиционные модели при анализе окружающей среды часто ограничиваются двухмерными изображениями или сырыми данными в виде облаков точек. Это мешает искусственному интеллекту (ИИ) правильно понять взаимосвязи между объектами, например, что стул стоит у стола и предназначен для сидения.
Новая система под названием 3DGraphLLM учитывает не только сами объекты, но и их пространственные и смысловые связи. Это особенно важно в помещениях с большим количеством предметов, таких как кухни, мастерские или офисы. Модель обучалась на известных датасетах с точными 3D-реконструкциями реальных помещений и текстовыми описаниями объектов. В качестве языковых моделей использовались Vicuna-v1.5 и LLAMA3, которые работают на энергоэффективных устройствах, подходящих для робототехники.
По результатам тестирования 3DGraphLLM превзошла по точности распознавания объектов многие существующие методы, в том числе и другие подходы с языковыми моделями. Модель показала улучшение точности более чем на 7% по сравнению с базовым решением и работает быстрее и экономнее по ресурсам по сравнению с самыми продвинутыми аналогами.
Сейчас команда учёных занимается интеграцией метода в реальные робототехнические системы. Основная задача — чтобы роботы не просто видели объекты, а понимали их взаимосвязи и могли эффективно выполнять задачи пользователя. Такие навыки важны для создания сервисных и бытовых роботов нового поколения.
Источник: www.ferra.ru