Исследователи из Национального университета Сингапура, Шанхайского Jiao Tong University и Нанкинского университета разработали новый метод обучения роботов манипуляциям с помощью видео из интернета. В своей работе, опубликованной на arXiv, ученые предлагают использовать обширные видеозаписи, размещенные в сети, для тренировки алгоритмов роботов.
Метод включает три основных компонента: Real2Sim, Learn@Sim и Sim2Real. Первым этапом является Real2Sim, который отслеживает движение объекта в видео и воспроизводит его в симуляции. Далее, Learn@Sim обучает робота захватывать и размещать объекты, используя алгоритмы усиленного обучения. Последним этапом, Sim2Real, применяется для переноса полученных навыков на реального робота, минимизируя разрыв между симуляцией и реальным миром.
Этот подход позволяет роботам эффективно обучаться манипуляциям, даже если видео снято в различных условиях. В тестах, проведенных на задаче завязывания галстука, система успешно справилась с задачей, продемонстрировав потенциал новой методики для сложных манипуляционных задач.
Будущие исследования будут направлены на расширение этой методики для решения других сложных задач в робототехнике и улучшение навыков роботов через имитационное обучение.
Похожие новости:
Сверхпроводящий токамак | Рентген в смартфоне | Теневая камера | Контакты для 2D-чипов
Конференция по робототехнике и Reinforcement learning ROS Meetup 27-28 апреля 2024
Шумоподавляющая ткань | 6 минут термоядерного синтеза | Лазерная связь в космосе | Вакцина от рака
Криоконсервация мозга | Спутниковый 5G в России | Смена пола эмбриону | Робот-дублёр микрохирургии