Итак, вышло очередное обновление для ChatGPT — GPT-4 c суффиксом 04-09, и новая версия уже показала себя в деле. Она демонстрирует впечатляющие результаты в решении сложных математических задач олимпиадного уровня и значительно превосходит предыдущую в данной области.
Для проверки способностей, GPT-4-04-09 «поучаствовал» в соревновании AI Mathematical Olympiad Prize на платформе Kaggle, до обновления GPT-4 решал только одну задачу, причем с использованием длинного промта (в котором, по сути, были подсказки к решению). Новая же версия успешно справилась уже с 5 из 10 задач. Для сравнения, конкурирующая модель Claude 3 Opus решила только одну задачу, хотя и без подсказок.
Сотрудники OpenAI в X Twitter даже отметили, что это «существенный прогресс» (big improvement), особенно заметный в области математики. Ожидается, что обновленная модель будет интегрирована в ChatGPT (речь про веб-версию с подпиской). Также на платформе LMSYS Arena мы скоро сможем воочию увидеть, насколько впечатляющи эти улучшения.
Кстати, выход новой версии GPT-4 совпал с обновлением рейтинга, в котором модель CMD-R+ от Cohere на 100B+ параметров обогнала исходные версии GPT-4 весны 2023 года, но Claude 3 Opus по-прежнему гордо восседает на первом месте. В ближайшее время ждем публикации метрик, демонстрирующих рост качества рассуждений и способностей GPT-4 в математике.
Это похоже на новый виток развития моделей, подогреваемый невероятно быстро растущей конкуренцией, и свежая модель GPT-4 задает новые стандарты на этом этапе.Будем наблюдать за дальнейшим развитием! А модель ChatGPT-4-04-09 уже доступна у нас на BotHub;)
Спасибо всем за прочтение и жду в комментариях!:)
Источник: habr.com
