Китайская компания Delta Intelligence представила Δ₀ (Delta-0) — базовую модель для человекоподобных роботов, которая одновременно управляет движением, балансом и манипуляциями с предметами. В демонстрации робот на базе Δ₀ самостоятельно застилает кровать, поднимает предметы с пола, нажимает ногой педаль мусорного ведра, ставит пластинку на проигрыватель и садится на диван.
Главная особенность Δ₀ — управление всем телом робота как единой системой. Модель работает одновременно с 69 степенями свободы и координирует кисти, руки, ноги и корпус. Например, при взаимодействии с мебелью робот одной рукой держится за мебель, второй тянет дверцу и одновременно меняет положение, чтобы не упасть.
Система состоит из двух частей. Модель скрытого представления мира и действий получает изображения с камер, текстовые команды и данные о состоянии робота, прогнозирует дальнейшие состояния и формирует команды движения. Отдельный обучаемый контроллер преобразует команды в движения суставов всего тела.
Модель скрытого представления мира и действий обучали на более чем 10 тыс. часов связанных данных, включая видео от первого лица и записанные движения людей. Это нужно для того, чтобы робот не просто копировал движения, а понимал, какие действия при этом надо ещё делать. Например, подходить ближе, менять стойку или переносить вес с одной ноги на другую.
Компания обучает модель и на реальных роботах. Во время неудачного действия оператор может вмешаться и скорректировать движений. После такие эпизоды используют для дополнительного обучения с подкреплением. Например, в одном из тестов исследователи поменяли местами раковину и посудомоечную машину. Исходная модель справилась с поставленной задачей в 4 из 20 попыток, а после корректировок и дообучения — уже в 13 из 20.
Источник: habr.com