Параллельно с запуском своего нового флагмана ChatGPT o3, в OpenAI рекордно снизили цену на мощную рассуждающую модель o3. В API она подешевела на 80% — до 8 долларов за миллион исходящий токенов и 2 долларов за миллион входящих. В подписке ChatGPT Plus, которая является стандартом для большинства пользователей, лимиты на o3 увеличили в два раза: теперь ей можно отправлять до 200 запросов в неделю вместо 100.
Представители OpenAI объяснили столь значительное падение цен тем, что команда провела оптимизацию серверной инфраструктуры компании. Однако в X появились обвинения, что OpenAI на самом деле сделала модель «глупее», возможно, квантизировав или дистиллировав ее.
Квантизация — это сжатие весов нейросети: 32-битные числа заменяются на 8- или 4-битные, чтобы сократить объём памяти и ускорить работу почти без потери качества. Дистилляция — это обучение компактной модели-студента на ответах большой модели-учителя, чтобы сохранить поведение при меньших затратах ресурсов.
Первым обвинения опроверг Эйдан МакЛафлин из OpenAI — но стоит признать, что представитель компании в данном случае является заинтересованным лицом.
Но затем подоспела независимая оценка. Представители некоммерческого фонд ARC Prize сообщили, что провели повторное тестирование o3 в бенчмарке ARC-AGI (Abstraction and Reasoning Corpus for AGI), направленном на то, чтобы оценить способность моделей рассуждать, решать принципиально новые задачи и адаптироваться к незнакомым ситуациям. По заявлению ARC Prize, результат удешевленной o3 в бенчмарке остался прежним.
Позволю личное мнение касательно заявлений об «отупении». Подобные высказывания появлялись через 1-2 месяца почти по всем моделям, с которыми я работал. Возможно, в редких случаях действительно происходит смена настроек или системного промпта, но в большинстве ситуаций речь все-таки в психологии — «вау-эффект» от использования новой модели проходит, мы лучше понимаем возможности модели, начинаем расстраиваться ее ограничениям и думаем, что она «отупела».
P.S. Традиционно вы можете поддержать меня подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com