Когда OpenAI представила свою модель AI «рассуждения» o3 в декабре, компания объединилась с создателями ARC-AGI, бенчмарка, разработанного для тестирования высокоэффективного AI, чтобы продемонстрировать возможности o3. Спустя несколько месяцев результаты были пересмотрены, и теперь они выглядят немного менее впечатляющими, чем изначально.
На прошлой неделе фонд Arc Prize Foundation, который поддерживает и администрирует ARC-AGI, обновил приблизительные затраты на вычисления для o3. Первоначально организация подсчитала, что самая производительная конфигурация o3, которую она протестировала, o3 high, стоила около $3000 для решения одной задачи ARC-AGI. Теперь фонд Arc Prize Foundation считает, что стоимость намного выше — возможно, около $30000 за задачу.
Пересмотр примечателен тем, что он иллюстрирует, насколько дорогими могут оказаться самые сложные модели AI сегодня для определенных задач, по крайней мере на раннем этапе. OpenAI еще не установила цену на o3 — или даже не выпустила ее. Но Arc Prize Foundation считает, что цена модели OpenAI o1-pro является разумным ориентиром.
Для контекста: o1-pro — самая дорогая модель OpenAI на сегодняшний день.
«Мы считаем, что o1-pro — это более близкое сравнение с истинной стоимостью o3, из-за количества используемых вычислений во время тестирования», — сказал Майк Кнуп, один из соучредителей Arc Prize Foundation, TechCrunch. «Но это все еще приблизительный показатель, и мы оставили o3 помеченным как предварительный в нашей таблице лидеров, чтобы отразить неопределенность до объявления официальных цен».
Высокая цена на o3 high не исключена, учитывая объем вычислительных ресурсов, которые, как сообщается, использует модель. Согласно Arc Prize Foundation, o3 high использовал в 172 раза больше вычислений, чем o3 low, самая низкопроизводительная конфигурация o3, для решения задачи ARC-AGI.
Более того, слухи о дорогих планах, которые OpenAI рассматривает для корпоративных клиентов, ходят уже довольно давно. В начале марта The Information сообщила, что компания может планировать взимать до 20 000 долларов в месяц за специализированных «агентов» AI, например, за агента-разработчика программного обеспечения.
Некоторые могут утверждать, что даже самые дорогие модели OpenAI будут стоить намного меньше, чем запросил бы типичный подрядчик или штатный сотрудник. Но, как указал исследователь AI Тоби Орд в посте на X, модели могут быть не такими эффективными. Например, o3 high потребовалось 1024 попытки для каждой задачи в ARC-AGI, чтобы достичь своего лучшего результата.
Источник
Источник: habr.com
Похожие новости:
Тест ARC-AGI-2: новый стандарт для измерения интеллекта ИИ
Фонд Arc Prize представил новый AGI-тест, который ставит в тупик большинство ИИ-моделей
Франсуа Шоле является соучредителем некоммерческой организации по разработке бенчмарков для AGI
Показатели лучших моделей OpenAI рухнули в новом бенчмарке ARC-AGI-2