Основатель и генеральный директор Figure Бретт Эдкок представил новую модель машинного обучения Helix для гуманоидных роботов. Она позиционируется как «универсальная» модель Vision-Language-Action (VLA).
VLA использует компьютерное зрение и команды на естественном языке для обработки информации. В настоящее время самым известным примером такой модели выступает RT-2 от Google DeepMind, которая обучает роботов с помощью комбинации видео и больших языковых моделей (LLM).
Helix работает схожим образом, объединяя визуальные данные и языковые подсказки. Вот как описывают работу модели в Figure: «Helix демонстрирует сильное обобщение объектов, будучи способной подбирать тысячи новых предметов домашнего обихода с различными формами, размерами, цветами и свойствами материалов, которые никогда ранее не встречались в обучении, просто запрашивая информацию на естественном языке».
Платформа предназначена для преодоления разрыва между компьютерным зрением и обработкой языка. Получив голосовую подсказку на естественном языке, робот визуально оценивает своё окружение, а затем выполняет задачу.
Figure предлагает примеры такой работы с участием двух роботов. Так, одному из них можно сказать: «Передай пакет с печеньем роботу справа от тебя», а второму: «Возьми пакет с печеньем у робота слева от тебя и положи его в открытый ящик».
Figure демонстрирует работу VLM на примере гуманоидного робота 02 в домашней среде. Она считается особенно сложной для тестирования подобных моделей обучения, поскольку обстановка в домах обычно не структурирована, она включает множество разных объектов и текстур. Пока работа над Helix находится на ранней стадии.
«Чтобы роботы были полезны в домашнем хозяйстве, они должны уметь генерировать новые интеллектуальные модели поведения по запросу, особенно для объектов, которые они никогда раньше не видели. Обучение роботов даже одному новому действию в настоящее время требует значительных человеческих усилий: либо часов ручного программирования эксперта уровня доктора наук, либо тысяч демонстраций», — объяснили в Figure.
Осенью стартап обновил человекоподобных роботов 02, которых BMW тестирует на своём заводе в Южной Каролине. Они стали быстрее и лучше справляются с задачами на производстве. Роботы на заводе помогают переносить запчасти и учатся взаимодействовать с окружающей средой.
Источник: habr.com
Похожие новости:
Правда ли, что лучший смартфон Realme 2025 модельного года лучше Самсунга S24 Ultra начала 2024 года
Гиперперсонализация: как сделать предложение пользователю релевантным
Смартфон HUAWEI с крутыми камерами — это не обязательно дорого. Есть новинки без переплаты
Наш вердикт по новым смартфонам среднего класса Infinix Note 40