Инженеры Mistral представили Robostral Navigate — свою первую модель для автономной навигации роботов. Система получает изображение с одной RGB‑камеры и инструкцию на естественном языке, после чего проводит робота по помещению. Например, модель можно попросить вывести робота из холла, провести по коридору, завести в кладовую и остановиться перед нужной полкой.
В основе Robostral Navigate лежит визуально‑языковая модель с 8 млрд параметров. Система не рассчитывает сразу движения робота в метрах и градусах, а указывает точку на изображении, к которой надо двигаться, и направление, в которое робот должен смотреть после прибытия. Такое решение меньше зависит габаритов устройства, камер и оптики. Например, если следующая точка маршрута не попадает в кадр, то модель переключается на команды смещения и поворота, чтобы развернуть робота.
Восьмимиллиардная модель отвечает за понимание инструкций и выбор промежуточных целей, но не управляет двигателями напрямую. Она обновляет маршруты около двух раз в секунду. После этого другая диффузионная модель со 121 млн параметров превращает выбранную точку в более детальную траекторию, а контроллер робота переводит её в команды для приводов.
Robostral Navigate полностью обучили в симуляции. Mistral подготовила около 2,4 миллиона траекторий в 350 тысячах виртуальных сцен, среди которых были офисы, жилые и коммерческие здания, многоэтажные маршруты и открытые пространства. Кроме того, во время генерации данных разработчики меняли размеры робота, высоту, наклон камеры, освещение, архитектуру сооружений и плотность объектов окружения.
После базового обучения модель дополнительно доработали с помощью алгоритма обучения с подкреплением CISPO. Для этого исследователи отобрали 35 тысяч сложных заданий, на которых исходная версия регулярно ошибалась. Модель проходила их в симуляторе, училась исследовать окружение и восстанавливаться после неудачных действий.
В тесте R2R‑CE итоговая версия модели успешно завершила 77,4% маршрутов в новых для себя окружениях. Прошлый лучший результат для систем с одной камерой составляет 66,9%, а среди решений с несколькими камерами или с датчиком глубины — 72,1%. В более сложном тесте RxR‑CE модель набрала 75,1% против 73,4% у лучшей однокамерной системы.
Robostral Navigate протестировали и на реальных колёсных роботах: Galaxea R1 и компактном Hiwonder JetAuto. Для каждой из платформ заменили только контроллер. Всё остальное оборудование осталось от производителя.
Источник: habr.com