Компания General Intelligence Labs представила EGO1GS — носимую гарнитуру для сбора данных, на которых можно обучать роботов повторять действия человека. Устройство записывает видео от первого лица, фиксирует движение головы и звук, а встроенная модель EgoHand в реальном времени следит за руками и сообщает, если они пропадают из кадра.
EGO1GS оснастили двумя камерами с разрешением 1080p и частотой 30 кадров с технологией глобального затвора (global shutter). Такой сенсор экспонирует сразу весь кадр, а не делает это построчно. Благодаря этому быстрые движения головы и рук не приводят к искажениям, что полезно для более точной работы SLAM‑алгоритмов во время обучения.
Каждая камера получила угол обзора 157 × 84 градуса, а расстояние между ними составляет 63 мм — примерно столько же, сколько между глазами человека. Вместе с этим устройство оснастили девятиосевым IMU‑модулем и двумя микрофонами для записи стереозвука. Видео, аудио и показания датчиков синхронизируются аппаратно по одному тактовому генератору и сохраняются в единый MCAP‑файл.
Одна из особенностей EGO1GS — встроенная модель EgoHand. Она не просто следит за руками в кадре, а распознаёт чужие руки. Это позволяет игнорировать руки другого человека, которые попали на запись. Кроме того, система автоматически маркирует фрагменты, на которых человек выполняет действие, чтобы именно их использовать для обучения. Модель построена на компактной архитектуре, вдохновлённой семейством YOLO, и обучена на видео GI Labs с разметкой принадлежности рук.
Для управления EGO1GS предусмотрено приложение, в котором можно просматривать изображения с обеих камер и результат работы EgoHand. Подключиться к гарнитуре можно по Wi‑Fi или USB.
Источник: habr.com