15 сентября стартап TypeSafe AI вышел из стелса с раундом $40 млн и необычной новой моделью Jev. Она не умеет разговаривать и не пишет текста.
Зачем она нужна? В компаниях AI чаще всего не болтает с человеком, а принимает тысячи мелких решений внутри программ: куда отправить письмо, насколько срочна заявка, похож ли платеж на мошенничество. Сейчас их все чаще отдают LLM, и она каждый раз генерирует текст, хотя программе нужно одно решение.
Jev работает иначе. Например: ей дают письмо клиента и вопросы с заранее заданными вариантами. Какая тема, насколько срочно по шкале от 1 до 5, грозит ли клиент уйти. Обратно приходят ответы с вероятностями, например «жалоба, 92%», и программа сразу отправляет письмо старшему менеджеру.
Основатель TypeSafe Диого Алмейда в OpenAI помогал учить модели следовать инструкциям и разговаривать с людьми, и из этой работы вырос ChatGPT. Теперь он делает модель, которая молчит.
Думай быстро
Jev – первая модель нового класса System One Models. Название класса взято из книги Даниэля Канемана «Думай медленно… решай быстро»: Система 1 выносит быстрые суждения на автомате, Система 2 медленно рассуждает по шагам.
Последние два года индустрия развивает Систему 2 и учит LLM думать все дольше. Jev идет в обратную сторону: она не рассуждает, а выдает вероятности всех вариантов сразу.
Травмпункт
Разницу легко увидеть в больнице. Сложного пациента разбирает консилиум: врачи изучают анализы, спорят и пишут подробное заключение. Это аналог LLM с рассуждениями, но весь поток пациентов через консилиум не пропустишь.
В травмпункте все иначе. Дежурный травматолог смотрит на снимок и за пару минут понимает сразу несколько вещей: есть ли перелом, есть ли смещение, нужна ли операция. Это аналог Jev, которая отвечает на все вопросы одновременно.
Вариантов у травматолога немного: гипс и домой или в стационар на операцию.
«Приложить подорожник» среди них нет. Так и Jev борется с галлюцинациями: ответы заданы заранее, и выйти за них модель не может. Ошибиться с выбором она может, а придумать новый вариант – нет.
Если снимок непонятный, травматолог не гадает, а говорит: «Давайте на КТ». Jev к каждому ответу прикладывает уверенность, и по ней программа решает, передать ли задачу большой LLM или человеку.
Сколько стоит
По словам TypeSafe, Jev отвечает за 70–500 миллисекунд, а топовым LLM в их сравнении нужно от 3 до 329 секунд. Миллион входных токенов стоит $0,042, а за ответы компания денег не берет.
Через несколько дней цифры проверили в LiteLLM, популярном шлюзе для LLM. Там поставили Jev сортировать запросы по сложности, чтобы простые уходили в дешевую модель, а сложные в мощную.
Типичный ответ Jev занял 127 мс против 688 мс у Claude Haiku и обошелся на 96% дешевле, а категорию Jev угадывала чаще: 95% против 74%.
Угольный вопрос
Модель назвали в честь английского экономиста Уильяма Стэнли Джевонса, и это имя объясняет всю ставку TypeSafe.
В 1865 году Британия боялась, что уголь скоро закончится, и эксперты надеялись на экономичные машины. Джевонс в книге «Угольный вопрос» показал обратное.
После паровой машины Уатта угля на единицу работы требовалось меньше, а сжигать его стали больше. В Шотландии на тонну чугуна уходило меньше трети прежнего угля, но общее потребление выросло вдесятеро: чугун подешевел, спрос на него вырос, и печей стало больше.
TypeSafe рассчитывает, что с интеллектом будет так же: когда решение дешевеет на порядок, применений становится на порядки больше.
Где подвох?
Jev пока в раннем доступе, не объясняет свои решения и не понимает картинки. Сложный вопрос придется разложить на простые, а итог собрать в коде.
Да и цифры пока в основном от самой компании, в ее тестах Jev не обгоняет большие модели, а старается отвечать на уровне GPT-6 Astra и Claude Fable 5.1.
Модели научились разговаривать с людьми. Теперь их учат принимать быстрые решения.
Источник: habr.com