Недавно на известной площадке для ML-соревнований Kaggle был запущен конкурс AI Mathematical Olympiad. Его участники пытаются научить модели искусственного интеллекта решать задачи по математике, записанные в формате LaTeX, на уровне человека. Сложность задач соответствует уровню международной математической олимпиады для учеников старших классов International Mathematical Olympiad (IMO). Оттуда же позаимствовано и название соревнования.
В конкурсе принимают участие уже более 800 человек и 750 команд. Суммарный призовой фонд составляет $1,048,576 и будет распределен между пятью победителями. Организатором выступает одноименный фонд AIMO Prize, бюджет которого составляет $10,000,000. Он был учрежден, чтобы стимулировать открытую разработку ИИ-моделей, которые способны математически рассуждать на уровне человека.
Предоставленные участниками решения тестируются на 110 уникальных задачах. Чтобы избежать так называемой test-train утечки данных, они были придуманы экспертами специально для соревнования и сейчас засекречены. В решениях участникам разрешено использовать открытые предобученные LLM. В разделе Code уже можно увидеть подходы, основанные на следующих моделях:
DeepSeekMath. Лидирующая по количеству использований в соревновании и к тому же самая свежая модель, заточенная специально под математические задачи. Разработана исследователями из китайской лаборатории DeepSeek в начале 2024 года. Модель достигает поразительного результата в 51.7% на бенчмарке MATH, не уступая уровню сильнейших закрытых Gemini-Ultra и GPT-4.
Кроме того, из статьи о DeepSeekMath можно подчеркнуть множество светлых идей по сбору данных, методам файнтюнинга и обучению с подкреплением, которые могут оказаться очень полезными в борьбе за миллион долларов. Вот тут можно прочитать полный и понятный разбор этой работы на русском языке.
Llemma – еще LLM для математических задач. Недавно выпущена учеными из Принстона. Обучена на миллионах образцов кода и статей, на 4-shot решила 43% задач из MATH.
MathBERT для анализа математических формул.
Gemma, Mixtral, Llama и другие LLM, которые не были специально обучены решать математические задачи, но хорошо подходят для файнтюнинга.
Соревнование завершится через месяц. Подать заявку, ознакомиться с решениями других участников и представить свое можно на странице конкурса на Kaggle.
Еще больше интересных новостей, мемов и обзоров из мира ML можно найти в нашем тг-канале: t.me/data_secrets. Подпишитесь, чтобы ничего не пропустить.
Источник: habr.com
