Разгорелась дискуссия вокруг результатов бенчмарка Grok 3 от xAI: сотрудник OpenAI обвинил компанию в некорректных сравнениях. Сооснователь xAI Игорь Бабушкин защитил заявления компании, но правда, похоже, сложнее.
xAI поделилась графиком, на котором видно, что Grok 3 превосходит o3-mini-high от OpenAI в сложном математическом тесте AIME 2025. Однако сотрудники OpenAI отметили, что xAI опустил ключевую метрику «cons@64», которая дает моделям ИИ 64 шанса на правильный ответ. Этот метод значительно повышает баллы, и без него модели OpenAI в некоторых случаях работают лучше.
При стандартных настройках «@1», когда ИИ получает только один шанс ответить, Grok 3 Reasoning Beta и Grok 3 mini Reasoning набирают меньше баллов, чем o3-mini-high от OpenAI. Тем не менее, xAI по-прежнему называет Grok 3 «самым умным ИИ в мире».
Бабушкин утверждает, что OpenAI уже делал подобные вещи в прошлом.
Источник: www.ferra.ru
