Thinking Machines Lab выпустила Inkling 2 Mini — открытую ИИ-модель с 26,4 млрд параметров, рассчитанную на локальный запуск. Несмотря на сравнительно компактный размер, она показывает достойные результаты в программировании и решении сложных задач, а для работы ей не требуется подключение к интернету.
В основе модели лежит трансформерная архитектура Mixture of Experts с 24 слоями, из которых активны 3,4 млрд параметров. Её главная особенность — повторное прохождение средних 12 слоёв три раза. Благодаря этому каждый токен обрабатывается с помощью 48 применений слоёв вместо обычных 24, а вычислительная нагрузка нарастает без пропорционального увеличения объёма хранимых весов. По заявлениям разработчиков, такой подход особенно хорошо проявил себя в агентном программировании: Inkling 2 Mini набрала 48,2% в DeepSWE v1.1 и 79,2% в SWE-bench Verified.
Для запуска модели требуется около 20 ГБ памяти. Она совместима с компьютерами Apple Silicon, включая MacBook с 32 ГБ объединённой памяти, и может работать через Ollama. Также заявлена поддержка NVIDIA DGX Spark и видеокарт с 32 ГБ видеопамяти. Модель принимает текстовые и графические запросы, а размер её контекстного окна достигает миллиона токенов. В качестве демонстрации Thinking Machines показала, как Inkling 2 Mini без доступа к сети создала работающий авиасимулятор на MacBook Pro с чипом M5 Pro.
Впрочем, архитектура вызывает вопросы не только о производительности, но и о прозрачности рассуждений ИИ. В отдельном эксперименте исследователи обнаружили, что дополнительные проходы позволяют модели решать более сложные задачи, не раскрывая промежуточные шаги. Время решения задач без записанной цепочки рассуждений выросло с 16 секунд при одном проходе до 37 секунд при трёх.
Источник: www.goha.ru