Команда Pollen Robotics, входящая в состав Hugging Face, представила Grabette — переносное устройство для сбора данных о манипуляциях с предметами. С его помощью человек может выполнить нужное действие руками, записать движение и превратить серию полученных демонстраций в датасет для обучения робота.
Grabette представляет собой ручной захват с двумя камерами и набором датчиков. Широкоугольная камера снимает происходящее примерно с того же ракурса, с которого робот видит окружающий мир. RGB‑D‑камера одновременно записывает цветное изображение и глубину и восстанавливает траекторию устройства в пространстве. Для фиксирования положения пальцев предусмотрены магнитные энкодеры.
Во время записи движения инерциальный датчик и энкодеры записывают данные синхронно. После записи пользователь может выбрать нужные эпизоды, загрузить их в Hugging Face Hub, проверить траекторию и конвертировать в формат LeRobot. В итоге получается датасет для обучения моделей управления роботами.
Для воспроизведения выученных движений разработчики создали Gripette — моторизованную версию захвата с камерой и двумя сервоприводами. Её можно закрепить на роботизированной руке. Система не привязана к конкретной модели манипулятора, так как данные сохраняются в виде положения и ориентации захвата в шести степенях свободы.
Grabette (слева) и Gripette (справа)
Сборка Grabette обойдётся примерно в 500 евро, а Gripette — ещё в 120 евро. В конструкции используются одноплатники Raspberry Pi, камеры Raspberry Pi, модули OAK‑D и 3D‑печатные детали. Авторы проекта опубликовали исходный код, CAD‑файлы, инструкции по сборке и конвейер обработки данных. Всё опубликовано под лицензией Apache 2.0.
Сейчас команда Pollen Robotics работает над Casquette — устройством с камерой, которое закрепляется на голове и записывает действия от первого лица.
Источник: habr.com