Новый фреймворк, получивший название EgoMimic, предлагает революционное решение для сбора данных, необходимых для обучения, за счет использования видеозаписей с точки зрения человека, выполняющего задачу.
Ученые из Технологического института Джорджии разработали новый подход к обучению роботов выполнению сложных задач с использованием имитационного метода. Разработка специалистов уже продемонстрировала впечатляющие результаты в экспериментах с манипуляцией объектами.
Идея имитационного метода заключается в том, чтобы совершенствовать алгоритм глубокого обучения путем наблюдения за действиями человека. Традиционно это требует огромного объема данных и сложного оборудования, однако EgoMimic предлагает более доступный и масштабируемый способ сбора таких данных. Система основана на записи видео с помощью умных очков Project Aria, разработанных Meta Reality Labs Research. Очки фиксируют выполнение повседневных задач от первого лица, позволяя алгоритму точно воспроизводить движения человека.
Секрет эффективности EgoMimic заключается в сочетании нескольких компонентов. Во-первых, это использование очков Project Aria для записи данных об окружающей среде и движениях рук. Во-вторых, это интеграция двухманипуляторного робота, оснащенного камерами и сенсорами, что позволяет роботу воспроизводить действия человека с минимальными отклонениями. Робот, также оснащенный очками, видит пространство аналогично человеку, что упрощает процесс переноса поведения.
Источник: hi-tech.mail.ru
Похожие новости:
Какой SSD (накопитель) купить в мае 2024 года
NVIDIA показала новый трейлер ремастера Half-Life 2 с улучшенной графикой и трассировкой лучей
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»