Компания Odyssey открыла публичный доступ к исследовательской версии Odyssey-3. Модель создаёт интерактивное окружение по текстовому описанию и продолжает генерировать его в реальном времени, пока пользователь перемещается, меняет положение камеры или запускает события.
Odyssey-3 относится к world models, или моделям мира. В отличие от обычного генератора видео, такая система должна учитывать предыдущие состояния сцены и предсказывать, как окружение изменится после конкретного действия. Например, что произойдёт, если персонаж войдёт в воду или автомобиль начнёт двигаться по дороге.
В публичном демо используется облегчённая версия Odyssey-3 Flash. Она поддерживает вид от первого и третьего лица, а также свободное управление камерой. Попробовать модель можно бесплатно в браузере.
В основе Odyssey-3 лежит авторегрессионный диффузионный трансформер. Модель обучали на интернет-видео с описаниями событий, записях игрового процесса с синхронизированными нажатиями клавиш и движениями мыши, а также симуляциях физических взаимодействий. Базовая версия генерирует изображение в разрешении 832 × 480 пикселей, Odyssey-3 Pro поддерживает 1280 × 720.
Компания также рассматривает Odyssey-3 как основу для управления физическими и виртуальными системами. В опубликованных демонстрациях модель использовали для роботизированных манипуляторов, гуманоидных роботов, беспилотного автомобиля, дронов и персонажей в видеоиграх. Для каждой задачи к модели подключается отдельный контроллер, который преобразует её внутреннее представление мира в команды для конкретной системы
Odyssey заявляет, что версия Pro получила 66,1 балла в тесте Physics-IQ, оценивающем понимание физических процессов. Однако этот результат был получен в одном запуске с выбором лучшего из восьми сгенерированных вариантов. Средний результат четырёх стандартных запусков составил 63,37 балла. Результаты WorldMark, где Odyssey-3 заняла первое место в трёх из четырёх категорий, также получены в ходе собственной оценки компании.
Пока пользователям доступна только генерация интерактивных окружений. Возможности для робототехники и автономного транспорта показаны в демонстрациях, но не входят в публичный preview. Веса модели тоже не опубликованы, а доступ к API выдаётся по заявке.
Попробуйте Kodacode на своём проекте: скачать для IDE, CLI и Desktop. Анонсы обновлений, практические разборы и новости продукта в нашем Telegram‑канале.
Источник: habr.com