Агент управляет игрой по снимкам экрана, нажимая клавиши и перемещая курсор. В демонстрации он проходил сюжетные задания и мини-игры.
Студия miHoYo, создавшая Genshin Impact, разработала ИИ-агента Gamer и показала, как он играет в Honkai: Star Rail с помощью клавиатуры и мыши. Об этом сообщает AUTOMATON WEST. Команда miHoYo опубликовала исследование 13 ноября вместе с учеными из Национального университета Сингапура и Университета Цинхуа.
Gamer получает пять снимков экрана в секунду и по ним решает, какие клавиши нажать и куда переместить курсор. Агенту для этого достаточно изображения на экране, доступ к внутренним данным игры и ее программным интерфейсам ему не нужен. Исследователи разрабатывают Gamer для прохождения двухмерных и трехмерных игр.
В демонстрации Honkai: Star Rail агент выполнял задания основного сюжета, вел персонажей к цели, следовал за неигровыми персонажами и самостоятельно справлялся с противниками. Он также прошел пять мини-игр, среди которых были логические головоломки и испытания на точность и реакцию.
Для испытаний команда использовала графические ускорители для дата-центров, в том числе H200. На странице проекта на GitHub разработчики сообщили, что планируют выпустить Streaming-vLLM, движок для запуска Gamer. Среди возможных применений агента команда называет тестирование игр и помощь игрокам, которым трудно пользоваться стандартным управлением. Исследователи отдельно подчеркнули, что выступают против использования Gamer для нечестной игры.
Источник: hi-tech.mail.ru