Зачем гиперскейлеры наперегонки выпускают ИИ, который только выбирает вариант ответа

Microsoft AI выпустила Microsoft-Decision-1, модель для маршрутизации, классификации, проверки и управления агентами. Генерировать текст она не умеет. На вход получает вопрос и фиксированный набор вариантов, на выход отдает откалиброванную вероятность для каждого варианта в JSON за один проход. 

Модель дообучена на Qwen3.5-9B от Alibaba, доступна в Microsoft Foundry и на OpenRouter и стоит 0,042 $ за миллион входных токенов при бесплатном выводе.

Что это за класс моделей

Еще в середине сентября такой категории на рынке фактически не было. 15 сентября стартап TypeSafe, основанный бывшим исследователем OpenAI Диогу Алмейдой, выпустил Jev, и OpenRouter открыл под него отдельный эндпоинт Decisions. К 28 сентября там было уже семь «решающих» маршрутов от четырех издателей. 

29 сентября OpenAI на DevDay показала Decisions API на базе урезанной GPT-6 Luna в ограниченном превью и заявила задержку в 150 мс против 1,6 с у обычного вызова Luna. 1 октября Cloudflare выпустила Clef и Clef-flash с весами под Apache 2.0, а Amazon в тот же день опубликовала открытую модель Strands Decider на 2 млрд параметров. Microsoft-Decision-1 добавляет в этот список еще одного гиперскейлера.

Три типа вопросов покрывают большую часть «служебной» работы в LLM-системах: да или нет, выбор из заданных вариантов, позиция на шкале. Эти ответы от ИИ составляют большую долю трафика в агентных пайплайнах, где большая модель вызывается, чтобы решить, к какому инструменту передать запрос, содержит ли ответ галлюцинацию или нарушает ли сообщение политику.

Цифры Microsoft и споры вокруг них

По собственным замерам Microsoft на 36 бенчмарках и 147 137 вопросах, Decision-1 показывает точность 83,5%. У Quyet-1.0-Large 81,9%, у GPT-6 Luna Decisions 79,4%. По калибровке модель вторая, 92,2 против 93,1 у Quyet. Главный плюс в том, что модель вообще не путается, если поменять местами варианты ответов, а при текстовых помехах ошибается всего в 1,3% случаев. Скорость замеряли на уровне 85 мс по медиане.

Но к цифрам уже есть претензии. Microsoft мерила себя сама, а конкурентов брала из скорректированных медиан рейтинга JevBench, где Decision-1 пока нет. H2O оспаривает цифры Microsoft и утверждает, что медиана ее модели H2O-Lightning-4B составляет 29 мс вместо приведенных 210 мс. В общем, независимых тестов пока нет, и каждый вендор рисует графики как ему выгодно.

Почему это меняет экономику

Если ответ — один из пяти вариантов, генерировать рассуждение в сотни токенов бессмысленно. Простая арифметика это подтверждает. Два миллиарда входных токенов в месяц на Decision-1 стоят около 84 $. Тот же объем через модель класса Sonnet в роли судьи при цене 2 $ за миллион обойдется в 4 000 $, то есть почти в 50 раз дороже. Для команды, у которой в агентном конвейере работает пять-шесть проверок на каждый пользовательский запрос, это разница между экспериментом и продакшеном.

Модель Microsoft закрытая, весов нет, самостоятельно ее не развернуть. Аппаратную платформу компания не раскрывает. Этим она отличается от Cloudflare Clef и Amazon Strands Decider, которые можно поставить у себя. Для всех, кому важно, где обрабатываются данные, открытые варианты на базе Qwen выглядят практичнее.

Что делать

Все, что сводится к выбору из фиксированного набора (роутинг, модерация, проверка groundedness, оценка ответа), — кандидаты на перевод на decision-модели. Model card Microsoft прямо запрещает использовать Decision-1 как единственный механизм решений по кредитам, найму, жилью и медицине. Пороги, эскалация и человеческий контроль остаются на стороне приложения. Похоже, через полгода отдельный «решающий» слой станет такой же стандартной частью LLM-стека, как эмбеддинг-модель для RAG.

ИИ‑роутер — доступ к 400+ моделям из одной панели

Подключите OpenAI‑совместимый шлюз по единому API‑ключу. Настраивайте сквозную аналитику, отслеживайте лимиты и квотируйте ресурсы.

Запустить ИИ‑роутер →

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев