Компания Subquadratic представила SubQ Snap, мультимодальную модель для принятия решений внутри AI-агентов. Контекстное окно составляет 384K токенов, в 12 раз больше, чем у Jev. По заявлению разработчиков, обработка запроса на 100K токенов и получение решения занимают примерно секунду.
Это первый новый продукт компании после июньского анонса SubQ 1.1 Small. Тогда Subquadratic показала результаты поиска информации в контексте до 12 млн токенов. Эти результаты относятся к прежней языковой модели; у доступного сейчас Snap окно меньше, зато он предназначен для частых вызовов внутри агентного цикла.
Модели этого класса уже выпускают несколько компаний: помимо Jev от TypeSafe, появились OpenAI Decisions API и Microsoft Decision-1. Они решают задачи классификации, выбора инструментов, оценки результатов и управления дальнейшими действиями агента.
В API Snap передаются общее состояние задачи, вопросы и допустимые ответы. Модель возвращает вероятность ответа «да», выбор из заданных вариантов или оценку по шкале. Можно, например, определить нужные для исправления ошибки файлы, выбрать следующий инструмент или проверить, завершена ли задача. Генерация кода и развёрнутых объяснений остаётся за языковой моделью. Помимо текста, Snap принимает до четырёх изображений.
Большой контекст нужен даже для короткого ответа: выбор следующего действия может зависеть от кода в другом модуле, старого ограничения пользователя или пункта в отдельном документе. Subquadratic пытается снизить стоимость чтения таких входных данных с помощью собственной архитектуры Subquadratic Sparse Attention, SSA.
Обычное плотное attention вычисляет попарные взаимодействия токенов, поэтому его вычислительная сложность растёт как O(n²). SSA выбирает позиции по содержимому и рассчитывает attention только для выбранных связей. По описанию компании, вычисления этого механизма растут линейно с длиной контекста. Отдельная голова решений преобразует внутренние представления в вероятности допустимых ответов, позволяя обойтись без последовательной генерации выходных токенов.
В демонстрационном видео Snap получает репозиторий на 226K токенов. Два запроса к модели занимают суммарно 2,42 секунды: сначала она выбирает файлы, затем нужные диапазоны строк. В итоге кодинг-агенту передаётся пакет на 7 КБ с четырьмя файлами и 20 диапазонами строк, а также сведениями о стиле кода и тестах. Это пример того, как модель с большим окном может подготовить контекст для следующего шага агента.
Компания также опубликовала сравнение с Jev:
Тест
SubQ Snap
Jev
Decision Index 0.2.1
61,7
57,9
Nimble, средняя точность по 13 наборам
82,9%
76,0%
Decision LCR, работа с несколькими документами
74,0%
48,0%
В Decision LCR использовались документы общим объёмом 72K–115K токенов. Snap получал весь контекст в одном запросе, а для Jev его разбивали на чанки. Тест адаптирован под выбор из вариантов, поэтому эти оценки нельзя напрямую сравнивать с результатами исходного AA-LCR, где проверяются письменные ответы. Это результаты Subquadratic; независимой проверки Snap в анонсе не приведено.
Snap доступен в публичной предварительной версии через консоль SubQ. Цена составляет $0,05 за миллион входных токенов, выход бесплатный: запрос на 100K токенов обойдётся в $0,005. Первым 10 тысячам пользователей компания обещает по 100 млн бесплатных токенов. Доступ ограничен вычислительными мощностями, после заполнения доступных мест новых пользователей могут направлять в очередь ожидания.
Если новость понравилась, приглашаю в канал AI for Devs. Каждый день публикую похожие материалы: новые модели, агенты, практические кейсы и новости из мира AI.
Источник: habr.com