Популярная платформа для бенчмаркинга LM Arena, оказалась в центре неприятного скандала: исследователи обвиняют ее в предвзятости и создании неравных условий для тестирования ИИ-моделей.
Новое исследование показало, что система, которая изначально задумывалась как объективный инструмент оценки больших языковых моделей (LLM), может фактически давать преимущества крупным технологическим корпорациям, среди которых OpenAI, Google, Meta и Amazon, в ущерб независимым разработчикам.
LM Arena работает по принципу соревнования между двумя анонимными языковыми моделями, каждая из которых отвечает на заданный пользователем запрос. Участники выбирают, какой ответ им нравится больше, и на основе их голосов формируется рейтинг. Однако авторы исследования утверждают, что некоторые модели, особенно те, что принадлежат крупным компаниям, получают непропорционально большое количество тестов и имеют доступ к внутреннему тестированию до официального релиза. Это, по их словам, дает крупным компаниям возможность «переобучать» свои модели, что потенциально повышает их производительность на платформе по сравнению с конкурентами и повышает их позицию в рейтинге, который в итоге далеко не всегда отражает реальное качество моделей.
Источник: hi-tech.mail.ru