Институт AIRI открыл тестовый доступ к VLA Arena. VLA Arena представляет собой открытую платформу для оценки и сравнения моделей управления роботами. Новая площадка работает по аналогии с платформами для сравнения LLM, рассказали информационной службе Хабра в пресс-службе института. Решение делает тестирование технологий доступным для широкой аудитории. Сюда входят исследователи, инженеры и любители робототехники.
Платформа имеет интерфейс для запуска роботов в виртуальной среде. К VLA Arena также можно подключать реальные устройства. Пользователи могут оценивать работу моделей в разных сценариях, в том числе на русском языке. Платформа поддерживает как реальных роботов, так и симуляции. VLA Arena работает с новейшими достижениями в области искусственного интеллекта и робототехники, включая модели Vision Language Action (VLA).
Платформа поддерживает компактные манипуляторы LeRobot SO-100 и SO-101 от HuggingFace. Эти роботы доступны для самостоятельной сборки или в готовом виде. Они хорошо подходят для образовательных и исследовательских целей. Стоимость таких роботов 30 тысяч рублей. Это делает их доступными для многих пользователей.
Платформа предлагает несколько важных функций. VLA Arena позволяет тестировать модели в симуляции или на реальном роботе. Если у пользователя нет робота, он может сравнивать модели в виртуальной среде. Если робот есть, его можно подключить и проверить работу разных моделей управления. На платформе есть таблица лидеров. Все модели оцениваются пользователями с учётом их предпочтений в реальных условиях. Оценки основаны на случайных тестах. Это помогает избежать предвзятости и даёт объективные результаты.
На момент написания материала на платформе доступны 3 модели для реальных роботов и 4 для симуляций. Среди них: π0.5 от Physical Intelligence, SmolVLA от Hugging Face, Flower — модель с открытым кодом, доступная для изменений, и модель с открытым кодом от AIRI для работы на русском языке. Платформа также содержит чистые датасеты для LeRobot из открытых источников. Датасеты размечены и переведены на русский язык для помощи разработчикам в обучении своих моделей.
VLA-модели открывают новую эпоху в управлении роботами. Это адаптированные версии больших языковых моделей, способные понимать и выполнять инструкции пользователя. Такие модели могут работать в разных сценариях, включая сложные задачи с обобщением и анализом контекста. Все используемые модели имеют открытый исходный код. Это позволяет пользователям настраивать их под свои задачи.
Руководитель научной группы «Адаптивные агенты» Института AIRI Владислав Куренков отмечает огромный потенциал VLA‑моделей. По его словам, VLA Arena — это не просто инструмент для тестирования, но и научный проект. Он должен повысить прозрачность в оценке роботов и моделей управления. Институт делает акцент на доступности и объективных метриках. Метрики учитывают не только технические характеристики моделей, но и оценку их эффективности с точки зрения пользователей. Первый запуск платформы рассчитан на срок до 3 месяцев. В этот период планируется собирать данные и отзывы для улучшения арены.
Источник: habr.com