OpenAI и Cerebras представили Ultrafast, новый режим обработки запросов GPT-5.6 Sol в OpenAI API. Он генерирует до 750 выходных токенов в секунду и работает до 14 раз быстрее Standard processing.
Это не отдельная облегчённая модель. Cerebras запускает полную GPT-5.6 Sol на своей инфраструктуре, поэтому, по заявлениям компаний, ускорение не требует снижать качество ответов. Пока Ultrafast доступен только ограниченной группе клиентов, а стоимость режима не раскрыта.
Ultrafast работает на архитектуре Cerebras Wafer-Scale Engine. В каждом чипе размером с кремниевую пластину находится 44 ГБ памяти SRAM. Веса модели остаются на чипе, а данные последовательно проходят через слои, распределённые между несколькими пластинами.
Так Cerebras сокращает передачу данных между вычислительными блоками и внешней памятью. Именно пропускную способность памяти компания называет одним из главных ограничений скорости инференса больших моделей на GPU.
Для сравнения, доступный всем клиентам API режим Fast ускоряет GPT-5.6 Sol до 2,5 раза и стоит вдвое дороже Standard. Ultrafast обещает ускорение уже до 14 раз, но OpenAI пока не опубликовала ни отдельный прайс, ни гарантированную минимальную скорость.
Режим
Скорость относительно Standard
Цена за 1 млн токенов, вход / выход
Доступность
Standard
1×
$5 / $30
OpenAI API
Fast
до 2,5×
$10 / $60
OpenAI API
Ultrafast
до 14×, до 750 токенов/с
не раскрыта
ограниченное превью
Цены Standard указаны для запросов с контекстом до 272 тысяч токенов. Для длинного контекста действуют повышенные коэффициенты. Fast сейчас не поддерживает длинный контекст.
Cerebras проверила новый режим на всех 2500 вопросах Humanity’s Last Exam. GPT-5.6 Sol Ultrafast завершила прогон за 11 часов 11 минут. Claude Fable 5 понадобилось 78 часов 27 минут. При сопоставимой точности тест с Sol закончился почти в семь раз быстрее.
GPT-5.6 Sol запускали через Codex с уровнем рассуждений xhigh 10 июля. Claude Fable 5 тестировали через Claude Code также на xhigh с 13 по 15 июля.
Ultrafast сначала запускают в OpenAI API для нескольких выбранных компаний. OpenAI обещает расширять доступ по мере появления свободных мощностей и предлагает оставить заявку. О публичном запуске режима в ChatGPT или Codex компания пока не сообщала.
Русскоязычное сообщество про AI в разработке
Друзья! Эту новость подготовила команда ТГК «AI for Devs» — канала, где мы рассказываем про AI‑агентов, плагины для IDE, делимся практическими кейсами и свежими новостями из мира ИИ. Подписывайтесь, чтобы быть в курсе и ничего не упустить!
Источник: habr.com