Thinking Machines Lab опубликовала Inkling-Small — компактную версию своей флагманской Inkling. Компания называет релиз efficient open-weights model: Inkling-Small, по ее словам, показывает сопоставимое качество с Inkling при примерно четверти размера.
Если смотреть на цифры, Inkling-Small — это MoE-трансформер с 276 млрд параметров всего и 12 млрд активных. Модель принимает текст, изображения и аудио, генерирует текст, работает в контекстном окне до 1 млн токенов и использует схему с 6 из 256 экспертов на токен плюс 2 shared experts. Для сравнения, старшая Inkling имеет 975 млрд параметров всего и 41 млрд активных.
По собственной оценке Thinking Machines, Inkling-Small хорошо держится не только на обычных мультимодальных задачах, но и в сценариях с инструментами и агентным поведением. В блоге компания пишет, что модель близка или лучше Inkling на ряде бенчмарков по reasoning и agentic coding, а на HLE у нее 31,6%, на SWE-bench Verified — более 80%. При этом сама компания прямо говорит, что Inkling-Small не является «лучшей моделью вообще»; ее позиционируют скорее как сильную базу для доработки и прикладного использования.
Полные веса Inkling-Small уже на Hugging Face + Tinker.
По цене Thinking Machines тоже пошла в сторону доступного старта: в документации Tinker для serverless inference beta указаны цены $0.30 за миллион входных токенов и $1.20 за миллион выходных токенов для Inkling-Small в 256K-конфигурации, а отдельная таблица для training показывает временные скидки для Inkling-Small в 64K и 256K режимах.
Источник: habr.com