Grok 4 стал лидером в новом бенчмарке FutureX, который проверяет ИИ-агентов на умение предсказывать будущее. Он обошел ChatGPT-Agent, GPT-5 Pro и Gemini.
FutureX задает моделям вопросы о событиях, которые произойдут в ближайшее будущее в разных областях. будущем — от политики и экономики до спорта и культуры. Например: «Какие сериалы займут 11–13-е места в топ-15 Hulu к дате Х?» или «Каков будет opening price NASDAQ в день Y?». Ответы фиксируются заранее и проверяются после того, как произойдет событий. Обновлять результаты планируется каждые две недели.
Баллы — это не проценты решённых задач: рейтинг FutureX рассчитывается по схеме, учитывающей сложность вопроса. Даже у лидеров абсолютные значения пока скромные, люди-аналитики чаще точнее.
FutureX интересен тем, что под этот бенчмарк нельзя «заточить» модель, равно как она не может подсмотреть информацию в интернете — ответы на вопросы о будущем не известны по понятным причинам. Поэтому рост результатов покажет, когда ИИ можно будет привлекать к реальному прогнозированию.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com