OpenAI начала раскатку модели ChatGPT o3-Pro — как и в случае с o1-Pro, она будет доступна только пользователям 200-долларовой подписки ChatGPT Pro. Цены в API составляют 150 долларов за миллион входящих токенов и 20 долларов — за миллион исходящих.
Цена o3-Pro в API на 87% ниже, чем o1-Pro
На данный момент доступны только официальные бенчмарки OpenAI, которые показывают превосходство над моделями o3 и o1-Pro. Сравнение с конкурентами в бенчмарки OpenAI традиционно не включили.
Из первого бенчмарка видно, что в слепом тестировании пользователи предпочитали ответы o3-Pro, а не o3.
Модель показала лучшие результаты в бенчмарках AIME 2024 (математические задачи олимпиадного уровня), GPQA Diamond (задачи на знание физики) и Codeforces (программирование).
Отмечу, что OpenAI сравнила o3-Pro и обычной o3 при средних настройках длины рассуждений, хотя модели можно выставить и высокие — представитель компании Айдан Маклафлин пояснил это тем, что именно medium-настройки включены в приложении ChatGPT. Очевидно, что в ближайшие часы появятся независимые тесты, из которых более точно будет видна производительность модели.
Также появились первые обзоры моделей от пользователей, получивших ранний доступ. Дизайнер и продуктовый специалист из Сан-Франциско Бен Хилак отмечает, что o3-Pro лучше работает тогда, когда у нее есть много контекста: в одном из примеров он с коллегой загрузил материалы со всех последних встреч по планированию в компании Raindrop — и o3-Pro вернулась с очень детальным анализом и планом действий, который включал в себя метрики, дедлайны и список задач, которые стоит поставить в приоритет. Также Бен отмечает еще одну интересную особенность модели — o3-Pro задает вопросы в тех ситуациях, когда понимает, что ей может не хватить информации из исходного промпта.
Есть и ограничения — на старте o3-Pro не поддерживает временные чаты, создание картинок и режим Canvas.
Также стоит отметить еще одну новость от OpenAI: компания понизила цену на «обычную» o3 в API на 80% — до 8 долларов за миллион исходящих токенов и 2 долларов за миллион входящих. Это дешевле, чем цена ChatGPT 4o в API. К сожалению, пока нет никаких обновлений о лимитах на o3 в подписке ChatGPT Plus — сейчас модель ограничена 100 запросами в неделю, но в случае столь качественной оптимизации было бы логично увеличить количество запросов.
P.S. Традиционно можете поддержать меня подпиской на канал «сбежавшая нейросеть», где я рассказываю о нейросетях с творческой стороны.
Источник: habr.com