Nvidia представила обновление Isaac Lab 3.0 — набора инструментов для обучения роботов в симуляциях. В новой версии расширили возможности физического моделирования, добавили варианты рендеринга и упростили перенос готовых моделей на реальное оборудование.
Одним из главных обновлений стала модульная архитектура. Физический движок, рендеринг изображений для виртуальных камер и средства визуализации теперь можно выбирать независимо. Кроме того, многие сценарии работают без установки и запуска полноценного Isaac Sim. Достаточно движка Newton или отдельных библиотек OVPhysX и OVRTX.
Сам движок Newton объединяет несколько методов расчёта физики. MJWarp моделирует роботов с жёсткими звеньями и суставами, VBD — ткани, мягкие тела и кабели, MPM — жидкости и сыпучие материалы. Кроме того, есть экспериментальный Kamino для работы с механизмами с замкнутыми кинематическими цепями.
Для виртуальных камер теперь доступны системы быстрого рендеринга Newton Warp и RTX‑рендеринга OVRTX. Также предусмотрена система Cosmos 3-Nano Transfer, которая превращает карты глубины в фотореалистичные видео по текстовым подсказкам. С поддержкой 3D Gaussian rendering также появилась возможность использовать в симуляторе реконструкции реальных сцен.
За перенос обученных моделей на реальное оборудование отвечает модуль LEAPP. Он экспортирует модель вместе с обработкой входных данных. На выходе получается пакет с файлами модели в формате ONNX и метаданные.
Стабильная версия Isaac Lab 3.0 доступна на GitHub, а на сайте Nvidia опубликовали интерактивные демонстрации. В официальной документации есть руководство по миграции на новую версию.
Источник: habr.com