Насекомые несмотря на свою крошечную нервную систему способны передвигаться с удивительной ловкостью. Этот навык можно перенести на роботов, которым предстоит решать куда более полезные задачи, чем поиски крошек на кухне.
Международная группа исследователей под руководством Университета Тохоку в Японии и Видьясиримедхийского института науки и технологий (VISTEC) в Таиланде обучила ИИ на коротком фрагменте данных о ходьбе палочника по ровной поверхности, чтобы выявить лежащие в основе его походки структуру вознаграждения и стратегию управления. Затем полученную функцию вознаграждения перенесли на модель шестиногого робота, который научился ходить примерно за час обучения в симуляции. В симуляции выученный алгоритм управления также позволил роботу передвигаться по неровной поверхности и адаптироваться к потере одной ноги.
Палочники, получившие своё название за сходство с веточками, давно служат классической моделью для исследований ходьбы. Команда использовала открытый набор данных, охватывавший всего три‑четыре цикла ходьбы насекомого. На основе этих данных ИИ одновременно определял две вещи. Во‑первых, к чему, по‑видимому, стремится насекомое во время ходьбы, то есть его «вознаграждение». Во‑вторых, как должны двигаться ноги для достижения этой цели.
Шестиногий робот RedMirror компании VISTEC передвигается с помощью алгоритма управления, обученного на данных о всего нескольких шагах палочника
Большинство исследований отвечают на вопрос, как заставить робота ходить. В этой работе исследователи поставили другой вопрос: для чего нужна ходьба? С новой функцией вознаграждения робот научился ходить примерно втрое быстрее, чем при использовании стандартной. Обычно задавать роботу конкретные правила движения каждой ноги приходится вручную, причём этот трудоёмкий процесс нужно повторять для каждой новой машины. Новый подход позволяет отказаться от этого этапа, используя животное в качестве своеобразного учителя.
Модель разделяет информацию на две части: одна описывает принципы, применимые к разным типам тел, а другая учитывает особенности конкретной машины. Благодаря этому выученную функцию вознаграждения можно переносить на других роботов.
Как работает этот метод. Искусственный интеллект извлекает из данных о палочнике цель — ходить. Затем эта цель передается роботу с другим корпусом
В работе использовали метод обратного обучения с подкреплением: ИИ не получает прямых указаний, как именно нужно ходить, а пытается определить цель, лежащую в основе поведения образца.
После обучения в симуляции полученную стратегию управления перенесли на физического шестиногого робота RedMirror, внеся простую поправку на различия сигналов датчиков в симуляции и реальном мире. Настоящий робот продемонстрировал скоординированную ходьбу, подтвердив возможность переноса метода из симуляции на физическую машину.
Следующим шагом исследователи планируют добавить память, чтобы робот мог накапливать опыт. В перспективе такие высокомобильные машины могут использоваться, например, при спасательных работах в зонах бедствий.
Источник: habr.com