NVIDIA открыла веса Cosmos 3 Edge — компактной модели мира для роботов и автономных систем

NVIDIA выпустила в открытый доступ Cosmos 3 Edge — компактную модель мира (World Model) на 4 млрд параметров. Она предназначена для задач физического искусственного интеллекта: робототехники, компьютерного зрения, автономного транспорта и интеллектуальной инфраструктуры. Модель стала самым компактным представителем семейства Cosmos 3 и рассчитана на работу на устройствах с ограниченными вычислительными ресурсами.

В отличие от классических моделей компьютерного зрения, которые только анализируют изображение, Cosmos 3 Edge объединяет несколько возможностей в одной системе: модель умеет понимать окружающую сцену, прогнозировать возможные изменения в мире и генерировать действия для физических агентов. NVIDIA позиционирует ее как основу для развития Physical AI — ИИ-систем, которые взаимодействуют с реальным миром.

Одна модель для восприятия, прогнозирования и действий

Cosmos 3 Edge принимает мультимодальные входные данные: текстовые инструкции; изображения; видеопотоки; траектории движения. На выходе модель может формировать: текстовые описания; изображения; видео; команды действий для роботов.

Такой подход позволяет использовать одну архитектуру сразу для нескольких сценариев: от анализа видеопотока с камеры до управления роботизированными манипуляторами.

В основе Cosmos 3 Edge лежит архитектура Mixture-of-Transformers (MoT). Она объединяет два вычислительных блока:

авторегрессионный трансформер отвечает за понимание сцены, рассуждения и работу с текстом;
диффузионный трансформер используется для генерации визуальных данных, моделирования будущих состояний и создания последовательностей действий.

За счет общей мультимодальной системы модель может не только отвечать на вопрос «что происходит сейчас», но и оценивать, что изменится после определенного действия.

Оптимизация для устройств на границе сети

Главная особенность Cosmos 3 Edge — возможность работы ближе к источнику данных, без постоянной передачи информации в облако. NVIDIA заявляет, что модель обеспечивает эффективный инференс на собственных аппаратных платформах компании, включая: NVIDIA Jetson, NVIDIA RTX PRO, GeForce RTX и DGX-системы.

Для робототехнических сценариев Cosmos 3 Edge работает с разрешением управления 640×360, может генерировать последовательности действий и обеспечивать управление в реальном времени на устройствах уровня Jetson Thor.

Первое место в VANTAGE-Bench и новые версии модели

По данным NVIDIA, среди моделей сопоставимого размера Cosmos 3 Edge занимает первое место в бенчмарке VANTAGE-Bench для задач видеоаналитики и показывает лучшие результаты в обучении робототехнических управляющих моделей. Эти показатели относятся к внутренним оценкам компании.

Одновременно NVIDIA выпустила несколько специализированных версий:

Cosmos 3 Edge Policy (DROID) — модель политики управления роботами, дообученная на датасете DROID для задач манипуляции, например захвата и перемещения объектов.

Также появились облегченные версии генеративных моделей:

Cosmos 3 Super Image2Video 4-Step — генерация видео из изображения;
Cosmos 3 Super Text2Image 4-Step — генерация изображений из текста.

Эти версии были ускорены с помощью дистилляции DMD2 из более крупной модели Cosmos 3 Super.

Cosmos 3: от Edge до Super

Cosmos 3 Edge стал третьим уровнем семейства моделей NVIDIA Cosmos.

Линейка сейчас включает:

Cosmos 3 Edge — 4 млрд параметров, для локального запуска и устройств с ограниченными ресурсами;
Cosmos 3 Nano — 16 млрд параметров;
Cosmos 3 Super — 64 млрд параметров, для более сложных задач генерации и моделирования.

Все модели объединяет одна цель — создание универсальных «мировых моделей», которые могут понимать физическое окружение, моделировать будущие события и помогать обучать роботов.

Полезные ссылки

Cosmos 3 Edge опубликована под лицензией OpenMDW-1.1 License, которая допускает коммерческое и исследовательское использование. NVIDIA также открыла исходный код инструментов и инфраструктуру для дообучения моделей через GitHub.

Страница проекта: NVIDIA Cosmos 3

Набор моделей Cosmos 3: Cosmos 3 Collection на Hugging Face

Демо: Cosmos 3 Edge Demo Space

GitHub: NVIDIA Cosmos GitHub

Дополнительные модели:

Скрытый текст