Разработчики выпустили бенчмарк для языковых моделей, в котором нейросетям надо играть в Street Fighter III

Разработчики представили бенчмарк для оценки возможностей языковых моделей в реальном времени. Для этого используется игра Street Fighter III. Авторы проекта отмечают, что динамичные компьютерные игры отлично подходят для таких задач.

Street Fighter III выбрали для оценки языковых моделей по следующим причинам:

Скорость. Игры в реальном времени позволяют оценить, как быстро языковая модель анализирует данные и принимает решения.

Сообразительность. Для хороших результатов важно тщательно просчитывать ходы.

Нестандартное мышление. Чтобы победить, надо принимать необычные решения.

Адаптивность. Надо учиться на своих ошибках, чтобы противник не мог использовать их.

Языковые модели в реальном времени управляют персонажами в Street Fighter III. Для этого им передают текстовое описание экрана, включая историю ходов и уровень здоровья, как управляемого персонажа, так и противника. Эти данные нейросеть анализирует и принимает решение о следующем шаге.

Разработчики уже провели более 300 боёв между разными языковыми моделями. Для каждой из них собирали результаты и рассчитывали коэффициент Эло. Рейтинг сейчас выглядит следующим образом:

Модель

Рейтинг

🥇OpenAI: gpt-3.5-turbo-0125

1776,11

🥈Mistral: mistral-small-latest

1586,16

🥉OpenAI: gpt-4-1106-preview

1584,78

OpenAI: gpt-4

1517,2

OpenAI: gpt-4-turbo-preview

1509,28

OpenAI: gpt-4-0125-preview

1438,92

Mistral: mistral-medium-latest

1356,19

Mistral: mistral-large-latest

1231,36

Код проекта открыт и опубликован в открытом репозитории. В нём можно найти подробную инструкцию по установке и запуску боёв.

Источник: habr.com

0 0 голоса
Рейтинг новости
0
0
Подписаться
Уведомить о
0 комментариев
Межтекстовые Отзывы
Посмотреть все комментарии