Экс-директор OpenAI отдала в паблик модель на 975B

Бум вокруг думающих ИИ-моделей продолжается. Команда Thinking Machines Lab представила свою первую и сразу флагманскую мультимодальную модель с открытыми весами — Inkling.

Разработчики сразу заявили: Inkling не пытается стать абсолютным лидером во всех бенчмарках среди открытых или закрытых систем. Ставка сделана на другое — дать разработчикам и бизнесу мощный, гибкий мультимодальный фундамент, который можно и нужно дообучать (кастомизировать) под свои специализированные задачи.

Архитектура и характеристики

Inkling представляет собой Mixture-of-Experts (MoE) трансформер, во многом вдохновленный архитектурой DeepSeek-V3. В каждом MoE-слое используется 256 маршрутизируемых экспертов и 2 общих, при этом для каждого токена активируются 6 экспертов. Общий масштаб модели составляет 975 миллиардов параметров, из которых 41 миллиард являются активными. Для обучения использовался колоссальный датасет из 45 триллионов токенов, включающий в себя текст, изображения, аудио и видео.

Модель поддерживает окно контекста объемом до 1 миллиона токенов.

Особенностью архитектуры стал отказ от сторонних энкодеров для аудио- и визуальных данных. Звуковые сигналы поступают в систему в виде dMel-спектрограмм, а изображения кодируются как патчи 40×40 пикселей с помощью четырехслойного hMLP, после чего они обрабатываются совместно с текстовыми токенами через облегченный слой эмбеддингов.

За позиционное кодирование отвечают относительные позиционные эмбеддинги, которые в контексте длинных последовательностей показали себя лучше популярного решения RoPE.

В Inkling реализована функция контроля «мышления» (Controllable thinking effort), позволяющая разработчикам гибко настраивать глубину рассуждений модели непосредственно во время инференса. Это помогает существенно экономить вычислительные ресурсы: к примеру, на тестах кодинга Terminal Bench 2.1 модель тратит примерно в три раза меньше токенов для достижения тех же результатов, что и Nemotron 3 Ultra.

Источник.

Одновременно с флагманом разработчики представили превью Inkling-Small — более легкой MoE-версии с 12 миллиардами активных параметров (276 миллиардов параметров всего), которая при значительно меньшей стоимости и задержках демонстрирует результаты, близкие к старшей модели.

Результаты в бенчмарках

Лепестковая диаграмма сравнения ИИ-моделей по ключевым бенчмаркам. Источник.

Разработчики не скрывают, что Inkling уступает по абсолютной мощности закрытым гигантам вроде GPT 5.6 Sol или Claude Fable 5.

Тем не менее, модель показывает отличные результаты для открытого веса:

в тесте SimpleQA Verified (проверка фактологии) Inkling набирает 43,9%, обходя GLM 5.2 (38,1%) и Nemotron 3 Ultra (32,4%);
в AIME 2026 (математика) модель выдает 97,1%;
в агентском кодинге на Terminal Bench 2.1 Inkling показывает высокую эффективность, выдавая сравнимый с Nemotron 3 Ultra результат, но генерируя при этом в три раза меньше токенов благодаря адаптивному мышлению.

При этом авторы отметили, что на этапе раннего обучения (SFT) для бутстрапа они частично использовали синтетические данные, сгенерированные открытой моделью Kimi K2.5 от Moonshot AI.

Эволюция рассуждений на этапе RL

Нейросети тоже умеют лениться, но с пользой. Интересная деталь из технического отчета: модель обучали с помощью масштабного асинхронного обучения с подкреплением, проведя более 30 миллионов итераций. И в процессе обучения появился побочный эффект: цепочка рассуждений модели со временем сама стала более лаконичной и сжатой. Модель автоматически выкинула лишние слова, союзы и грамматику. Она перешла на четкий, почти математический «телеграфный» стиль, чтобы банально экономить ресурсы и думать быстрее — но на качестве ответов это вообще никак не сказалось.

Автономный fine-tune на платформе Tinker

Самое главное в этом релизе — полная синергия модели с родной платформой Tinker от Thinking Machines, где Inkling уже доступна для кастомизации.

Чтобы показать, как устроен этот контур, разработчики продемонстрировали демо, где Inkling обучила сама себя. Модель получила задачу от пользователя, самостоятельно написала скрипт для fine-tuning на платформе Tinker, запустила его, провела оценку качества (eval) и автоматически переключилась на работу с новыми, только что созданными весами.

Фактически Thinking Machines показала готовый замкнутый контур кастомизации в одном окне:

Модель → Задача → Данные → Fine-tune → Eval → Новые веса

Что это значит для индустрии

Этот релиз — сильный маркер того, куда движется рынок. Основатели Thinking Machines Lab ( а я напоминаю, команду возглавляет бывший технический директор OpenAI) считают: ИИ-системы, адаптированные организациями под собственные нужды, в реальных продуктах будут работать лучше и эффективнее, чем «монолитные».

Компании получают мощную мультимодальную базу, которую можно безопасно развернуть в своем контуре, настроить под себя и не платить за оверхед в токенах.

Где взять

Веса флагманской Inkling уже лежат на Hugging Face в стандартном виде и в оптимизированном формате NVFP4 для работы на системах NVIDIA Blackwell.

Системные требования:

стандартная BF16 версия весит много и требует около 2 ТБ VRAM. Ее запуск предполагает наличие целого кластера enterprise-видеокарт;
оптимизированная NVFP4 версия благодаря квантованию сжата, но все равно требует около 600 ГБ VRAM под новые чипы NVIDIA.