Команда исследователей Google DeepMind представила семейство моделей Gemini Robotics 2 для управления человекоподобными роботами. Обновление должно помочь устройствам лучше ориентироваться в пространстве, планировать последовательность действий и выполнять сложные задачи.
Семейство Gemini Robotics 2 включает в себя три специализированные модели:
-
Gemini Robotics 2 — управляет движениями робота.
-
Gemini Robotics ER 2 — отвечает за восприятие, рассуждение и планирование.
-
Gemini Robotics On‑Device 2 — работает локально на железе робота без постоянного подключения к облаку.
Gemini Robotics 2 относится к классу моделей Vision Language Action (зрение — язык — действие). Система получает изображение с камер и инструкции на естественном языке, после чего преобразует их в команды для приводов. Предыдущие версии для управления использовали в основном для верхней части роботов и манипуляторов. Обновлённая модель одновременно контролирует ходьбу, движения конечностями, наклоны и удержание равновесия.
В одном из примеров робот Apollo 2 от Apptronik получил команду положить линейку в контейнер на нижней полке. После этого он самостоятельно подошёл к столу, взял предмет, перенёс к стеллажу, присел и поместил в нужный контейнер. При этом исследователи DeepMind признают, что скорость выполнения действий пока довольно низкая.
Кроме того, Gemini Robotics 2 поддерживает роботизированные кисти с пятью пальцами и до 22 степеней свободы. С ними робот может завязывать пакеты, вкручивать лампочки, вставлять детали в небольшие отверстия и выполнять другие действия. С мелкой моторикой пока проблемы: во внутренних тестах робот успешно выкручивал лампочку в 92% случаев, а вкручивал — в 36% попыток.
За анализ окружающей среды и планирование отвечает модель Gemini Robotics ER 2. Она анализирует команду пользователя, изучает помещение, разбивает задачу на отдельные этапы и передаёт действия системе управления движениями. Модель построена на базе Gemini 3.5 Flash и поддерживает текст, изображения, видео и аудио. Размер контекстного окна составляет до 128 тыс. токенов.
ER 2, в отличие от прошлого поколения, работает с непрерывным видеопотоком. Благодаря этому система может отслеживать выполнение задачи, искать ошибки и решать, нужно ли повторить действие. Кроме того, обновлённую модель научили координировать нескольких роботов. Например, машины с разной конструкцией могут обмениваться информацией, учитывать физические возможности друг друга и распределять между собой этапы выполнения задачи.
Модель Gemini Robotics ER 2 уже доступна в виде публичной предварительной версии через Gemini API и Google AI Studio. Gemini Robotics 2 и Gemini Robotics On‑Device 2 пока доступны только участникам программы раннего доступа: Agile Robots, Apptronik и Boston Dynamics.
Mistral выпустила модель для автономной навигации роботов с помощью одной RGB‑камерыИнженеры Mistral представили Robostral Navigate — свою первую модель для автономной навигации робото…habr.com
Источник: habr.com