Модели GPT-5 и Gemini 2.5 Pro показали результат уровня «золота» в задачах Международной олимпиады по астрономии и астрофизике (IOAA: International Olympiad on Astronomy and Astrophysics). Исследователи прогнали крупные языковые модели на наборах задач IOAA 2022–2025 годов и оценили ответы по официальным правилам.
Стоит отметить, что набор IOAA-2025 был составлен и написан совсем недавно (в августе 2025-го), то есть находился за пределами обучающего корпуса данных для моделей. При этом результаты в нем не выбиваются из общей картины по годам — это косвенно указывает, что модели не вспоминали готовые ответы, а решали задачи по смыслу.
В эксперименте учитывали теоретический тур и тур по анализу данных (без наблюдательного тура). Оценка решений была максимально приближена к судейству олимпиады: единые условия, единые промпты и проверка по рубрикам. По каждому году GPT-5 и Gemini 2.5 Pro дотягивали до порога «золота» в обоих разделах. В среднем за 2022–2025 годы: GPT-5 — теория 84,2%, анализ данных 88,5%; Gemini 2.5 Pro — теория 85,6%, анализ данных 75,7%.
Другие модели выступили не так равномерно. В теоретическом туре OpenAI o3 и Claude (версии 4.1 Opus и 4 Sonnet) в основном тоже показывали «золото». Но в анализе данных начались просадки: у o3 в 2023–2024 годах — «серебро», у Claude Opus и Claude Sonnet в 2024–2025 — вплоть до «бронзы» и даже «без медали».
Сильные стороны всех систем — формулы, расчеты, быстрое применение известных соотношений. Самые частые ошибки — концептуальные: геометрия и пространственное мышление (например, работа на небесной сфере), чтение и построение графиков, интерпретация рисунков. Авторы считают, что ближайший шаг вперед — улучшение мультимодальности и появление у моделей «визуального блокнота рассуждений», чтобы лучше решать задачи, где важна наглядность.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com