ИИ-модель справилась с основной сюжетной линией, но в некоторых задачах она столкнулась с трудностями.
Исследователи из Китая и Сингапура смогли научить нейросеть на базе GPT-4V играть в Red Dead Redemption 2. Для этого они использовали фреймворк CRADLE, который применяется в качестве интерфейса между компьютерной игрой и ИИ-моделью.
Ученые выбрали для эксперимента Red Dead Redemption 2, поскольку в ней есть требовательные задачи, которые позволят оценить границы производительности системы. Также для обучения ИИ пригодились диалоги, подсказки и инструкции внутри игры. Помимо этого, для управления используются клавиатура с мышкой, что также отлично подходит для настройки системы.
Нейросеть проходила игру на таких же условиях, как обычный человек. У ИИ-модели не было доступа к «внутренностям» RDR2, поэтому никаких преимуществ по сравнению с геймерами она не получила. По словам исследователей, CRADLE справилась почти со всеми задачами основной сюжетной линии. Было несколько исключений, например миссии с быстрой перестрелкой или сложным исследованием окружения.
В качестве главной проблемы исследователи назвали ограничения GPT-4V. Они считают, что ИИ-модель недостаточно хорошо справляется с распознаванием различных элементов, в том числе различных пиктограмм и мини-карт. Тем не менее исследователи отметили заметный успех CRADLE. Они добавили, что систему можно использовать и для других игр, а также различных компьютерных приложений.
Источник: hi-tech.mail.ru
Похожие новости:
Масштабирование постмодернизма. И проблема подмены фактов
Вышла новая версия GPT-4 и она уже покоряет математические олимпиады
Исследование: цензуру языковых моделей можно обойти с помощью ASCII-арта
Обзор IT-Weekly: GigaChat сдал экзамен на врача, Nvidia приближается по уровню капитализации к Amazon