Опубликован рассказ об ИИ-агенте Lumine на базе Qwen2-VL-7B, которого научили играть в Genshin Impact. Агент способен пройти основную сюжетную линию региона Мондштадт, которая у живых игроков занимает около пяти часов, с эффективностью, сопоставимой с человеком. Также Lumine проходит следующие регионы, на которых он не обучался, и даже переносит навыки на другие похожие игры.
Lumine работает в режиме реального времени: он обрабатывает изображение с игры пять раз в секунду и каждые 200 миллисекунд генерирует текстовое описание следующего набора действий, из которого извлекаются движения мышью и нажатия клавиш с частотой до тридцати обновлений в секунду. Внутри это обычная автодополняющая модель — никаких специальных надстроек для действий, только аккуратно придуманный формат текста, описывающий, куда повернуть камеру, куда бежать, что нажать и с какой длительностью. Дополнительно агент может при необходимости переключаться в режим размышления, сначала обдумывая дальнейшие действия, а затем выполняя свой план — чаще всего такой возможностью ИИ пользуется во время серьезных изменений условий или получения нового задания.
Обучение построено в три ступени. Сначала модель дообучили на 1731 часе записанного геймплея Genshin Impact, чтобы она просто научилась имитировать действия игроков и освоила базовые примитивы — движение, прыжки, атаки, взаимодействие с предметами и меню. Затем добавили около 200 часов данных формата «текстовая инструкция → отрезок игры с действиями», чтобы привязать управление к задачам на естественном языке. На последнем этапе на 15 часах прохождения сюжетной линии размечали короткие «мысли» агента — зачем он делает этот шаг и что планирует дальше; это и даёт ему гибридный режим рассуждений.
Интересно, что Lumine не ограничивается одной игрой: без дополнительного обучения он проходит стоминутные миссии в Wuthering Waves и первую главу Honkai: Star Rail продолжительностью около пяти часов, работая с другими интерфейсами и камерами. Авторы подают это как «открытый рецепт» создания универсальных агентов для трехмерных миров, а в будущем полученные знания могут быть использованы и для управления роботами.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com