В начале 2026 года Яндекс запустил программу грантов для лучших open-source проектов на своей новой платформе SourceCraft. Я подал туда заявку со своим проектом np — это C++-аналог NumPy с поддержкой CUDA и ручными SIMD-оптимизациями (AVX2/AVX-512/AMX), который обходит оригинал по скорости в 2–20 раз и расходует в полтора раза меньше памяти (подробно с бенчмарками я рассказывал о нём в прошлой статье «Ускоряем и оптимизируем numpy, pandas, scipy и sklearn»). На тот момент я только-только распробовал вайбкодинг и с его помощью смог довести оптимизации до такого уровня.
Внезапно я увидел свой проект в списке победителей. Честно говоря, я был очень удивлён и поначалу даже не поверил: ранее я ни за какие проекты никаких грантов не получал и не до конца понял, чем именно программному комитету приглянулся мой репозиторий. Мне казалось, что ничего особенно выдающегося в нём не было. Тем не менее на счёте появилось 600 000 рублей.
Встал логичный вопрос: куда их потратить? По условиям конкурса грант даётся проектам с чётким планом развития. Организаторы это будущее видели — в отличие от меня, за что им большое спасибо. Я же не совсем представлял, куда двигаться дальше. Полностью переписать весь NumPy на C++ с помощью вайбкодинга? Можно, но зачем? Я поэкспериментировал с частью функций и понял, что базовую задачу ускорения уже решил.
Поиск идеи, знакомство с плагином Яндекса и свой домен
Размышляя, куда направить грант и свои силы, я сначала вбил в поиск: «Какой проект сейчас наиболее перспективно писать?» Ответ был очевидным и ожидаемым: продукт для локального AI-кодинга.
Идея показалась мне отличной по четырём причинам:
-
Тема как таковая очень мне интересна, ведь ML является моим хобби последние несколько лет.
-
В основу можно положить мой
npи ещё пару собственных библиотек линейной алгебры (которые нельзя было подать на конкурс напрямую из-за правила «один проект — один разработчик»). -
Двойной бонус: этот инструмент останется со мной и после того, как грант закончится, и я его смогу использовать для своей собственной работы. Инструменты делают инструменты, которые делают инструменты, которые…
-
Им сможет бесплатно пользоваться всё сообщество.
Дело было в середине 2026 года. Сказано — сделано: я решил написать свой локальный агент для кодинга без этих болячек.
Примерно в это же время мне на глаза попался плагин для VS Code от Яндекса — SourceCraft Code Assistant (насколько я понял, форк Roo Code). Когда я увидел, что SourceCraft опубликовал его в маркетплейсе с привязкой к собственному домену, я решил, что нормальная публикация расширения без своего домена не получится. Встал вопрос: как же назвать проект? Хотелось, чтобы имя было связано с кодингом (поскольку я ориентировался именно на него), и при этом отражало любовь к минимализму — как старый любитель C++, низкоуровневой оптимизации и выжимания каждого байта я хотел чего-то компактного. Так родилось название TinyCoder, а следом я сразу зарегистрировал домен для этого и всех связанных проектов — tinycoder.dev.
Сам плагин Яндекса я решил использовать в работе, чтобы обкатать процесс, но быстро понял, что работать с ним больно:
-
Нельзя вклиниться в диалог. Если модель пошла не туда, нельзя просто дописать реплику в очередь и надеяться, что модель её увидит. Приходится жать
Cancel, чтобы остановить процессинг модели, после чего все набранные непосильным трудом сообщения из очереди бесследно исчезают, и уже после этого писать новое сообщение. Я выработал целый ритуал: написать текст → скопировать в буфер на случай отмены → нажатьCancelдля того, чтобы обойти ограничение и вклиниться в диалог → вставить из буфера → нажатьEnter. Удобно? Несомненно. -
Визуальный шум. Ассистент был слишком разговорчивым, а почти каждая строчка начиналась с бесполезного
SourceCraft Assistant said, которое просто съедало место на экране.
Тем не менее я продолжал им пользоваться, потому что грант можно было тратить на облачные LLM Яндекса, которые поддерживал SourceCraft Assistant, а работать я предпочитал в VS Code. Хотя сама работа всё меньше и меньше сводилась к ручному редактированию кода, а потом и вовсе в этом отпала необходимость и всякий смысл. Нужды в редакторе как таковом становилось всё меньше. Правда, через него я по-прежнему делал пуши в репозиторий — эту операцию я модели не доверял.
Был ещё вариант арендовать на грантовые деньги мощную виртуалку с GPU, но он показался мне слишком дорогим — бюджет не резиновый. В итоге я так и работал на своём старом домашнем ПК: Intel i7-4790K, 32 ГБ DDR3 и видеокарта RTX 2080 Ti (11 ГБ).
Концепция и цель: минимум веса и обгон llama.cpp
Я задумал TinyCoder как инструмент, минимальный по размеру, но максимально «умный» и всеядный по функционалу. Начинать и отлаживать базу предстояло на моей старой RTX 2080 Ti (чем я, собственно, до сих пор и занимаюсь).
Как ни странно, первые же робкие попытки дали результат — удалось обойти llama.cpp на CPU на этапе префилла (обработки входного промпта) примерно на 30%. Дальше начались несколько месяцев непрерывного «тюнинга» с помощью нейросетей. Почти всё время я гонял DeepSeek V4, а позже перешёл на DeepSeek V4.1 Flash — они оказались дешевле и при этом выдавали код лучше, чем более дорогие модели, например, gpt-oss-120b или Qwen3-235B.
Параллельно нужно было успеть до исчерпания гранта сделать не только быстрый инференс, но и удобный харнесс (обвязку вокруг модели). С этим как раз были самые большие проблемы: перед глазами у меня было всего два примера — SourceCraft Assistant и OpenCode. На последний пришлось экстренно пересесть после того, как 11 октября 2026 года SourceCraft сломался после инцидента в дата-центре Яндекса. На грантовом счёте оставалось ещё около 200 000 рублей, но сервисы лежали, так что пришлось полностью переходить на внешний DeepSeek провайдер. Зато это лишний раз подтвердило правильность идеи: мой локальный агент не будет зависеть от работоспособности провайдеров.
В итоге удалось обогнать llama.cpp не только на CPU, но и на GPU.
Как устроен инференс под капотом (tinycoder-inference)
tinycoder-inference — это не обёртка над ggml или PyTorch, а написанный с нуля движок на C++20 и CUDA без единой сторонней библиотеки инференса внутри (из внешнего кода используются только моя библиотека np и стандартный cuBLAS для плотных матричных умножений). Все ядра деквантования, int8 stream-K MMA GEMM, warp flash attention, рекуррентные ядра Gated-Delta-Net и сэмплеры реализованы напрямую в репозитории.
Что движок умеет прямо сейчас:
-
Поддерживаемые семейства моделей:
Qwen2.5,Qwen3.6иQwen3.8(как плотныеqwen35, так и MoEqwen35moe),Ornith,Gemma 4и тернарные модели PrismTernary-Bonsai. -
Нативная поддержка двух форматов без конвертации:
Model::loadсам определяет формат на входе. Поддерживается GGUF v3 (K-кванты отQ2_KдоQ6_K, IQ-серияIQ2_XXS–IQ4_XSи тернарныйpq2_0) и EXL3 — форматexllamav3читается напрямую из директории Hugging Face (config.json+*.safetensors+tokenizer.json) без PyTorch и Python-прослойки на каждый токен. -
Два пути на этапе prefill и быстрый decode: при обработке входного промпта движок выбирает между
cuBLASfp16 и собственнымint8MMA-ядром (квантует активации вQ8_0и читает блоки прямо из VRAM). На этапе генерации используются ядра GEMV с деквантованием «на лету» и захватом графа вычислений в CUDA Graph. -
Запуск больших MoE-моделей на 11 ГБ VRAM: для моделей, не влезающих в видеопамять целиком, реализован гибридный режим — плотная часть модели остаётся в VRAM, а эксперты (например, 34.4-гигабайтной
Ornith-1.5-35B-A3B) потоково прокачиваются через слой-арену. -
Планировщик контекста по реальной памяти: вместо жёстких констант движок измеряет свободную VRAM/RAM перед загрузкой модели и сам подбирает точность KV-кэша (
f32сint8-зеркалом или чистыйint8). Это позволяет вместить на RTX 2080 Ti до 196 352 токенов контекста для 9B-модели и до 64 256 токенов для 27B. -
CPU-бэкенд с выбором SIMD-инструкций на лету (runtime dispatch): если видеокарты нет, движок автоматически определяет доступный набор инструкций (AMX, AVX-512, AVX2 или scalar fallback) и распараллеливает вычисления через OpenMP.
Результаты замеров: TinyCoder vs llama.cpp и ExLlamaV3
Все замеры проводились на моей рабочей машине с RTX 2080 Ti (11 ГБ) по стандартному протоколу pp512 / tg128 (префилл 512 токенов / генерация 128 токенов), чередующимися прогонами (по три пары) для честного сравнения:
Модель и квантование
Базовый движок
TinyCoder pp512 (tok/s)
Baseline pp512 (tok/s)
TinyCoder tg128 (tok/s)
Baseline tg128 (tok/s)
Qwen2.5-Coder-1.5B q2_k (0.7 ГБ, full offload)
llama.cpp
12 239.8
7 679.2
325.9
321.6
Qwen2.5-Coder-1.5B iq3_xxs (0.9 ГБ, full offload)
llama.cpp
12 243.4
10 007.0
273.8
262.2
Ornith-1.5-35B-A3B q8_0 → q4_k (34.4 ГБ, hybrid MoE)
llama.cpp -ncmoe 99
176.3
132.2
53.6
17.1
Qwen3.8-27B EXL3 1.60bpw (8.6 ГБ, full offload)
exllamav3 1.6.6
727.5
719.5
23.60
23.76
Ternary-Bonsai-2-27B pq2_0 (6.7 ГБ, full offload)
PrismML llama.cpp (fork)
880.6
878.5
51.73
50.36
Особенно показателен кейс с MoE-моделью на 34.4 ГБ (Ornith-1.5-35B-A3B): благодаря слой-арене она помещается в 11 ГБ видеопамяти RTX 2080 Ti и генерирует текст в 3 раза быстрее llama.cpp (53.6 против 17.1 tok/s). Полную таблицу бенчмарков (включая сценарии, где быстрее llama.cpp, и тесты на длинном контексте) можно посмотреть на tinycoder.dev/#benchmarks и в самом репозитории проекта.
Архитектура: отделяю движок от плагина и пишу API-шлюз на Go
Чтобы не привязываться к одному редактору, я разделил исходный продукт на независимый C++20/CUDA движок tinycoder-inference и сам плагин-харнесс для VS Code (он подключает ядро через CMake FetchContent и общается с ним через N-API мост).
Затем захотелось ещё большей универсальности — чтобы движок можно было использовать вообще с любым внешним харнессом (OpenCode, Roo Code, Cline и др.). Отсюда появилась идея реализовать стандартный OpenAI API. На чём его писать? Я профессионально занимаюсь разработкой на Go, поэтому решение напрашивалось само собой: сделать отдельный проект на Go — tinycoder-openai, который стыкуется с моей C++ библиотекой через CGO.
Идея полностью оправдала себя: сам исполняемый файл Go-сервиса весит всего 9 МБ, а вся нативная C++/CUDA-начинка вынесена в разделяемую библиотекуlibtinycoder_bridge.so размером 145 МБ (никакого Python-стека и тяжёлых внешних фреймворков — кроме системного CUDA Toolkit/cuBLAS). При этом шлюз поддерживает из коробки:
-
Два популярных API: эндпоинты OpenAI (
/v1/chat/completions,/v1/responses) и Anthropic Messages API (/v1/messages). -
Работу с агентами: встроенный
tool_callsи SSE-стриминг сkeep-aliveна время долгого префилла. -
Безопасное прерывание генерации: кооперативный
abortвнутри C++ цикла по слоям модели для мгновенного освобождения видеопамяти. -
Управление памятью: ленивую загрузку моделей по первому запросу и автоматическую выгрузку из VRAM по LRU-таймауту.
Почему фокус сместился именно на движок
В конечном итоге я сосредоточил основные усилия именно на разработке движка для инференса, а не харнесса. Как мне показалось, в отличие от мира харнессов (где уже есть из чего выбрать), в мире локальных движков до сих пор царят разнобой и хаос: нет единого и мощного решения, которое бы собрало под одно крыло все форматы квантизации, поддержку видеокарт, доступных рядовым потребителям, хорошую поддержку NVLink и низких квантов из коробки.
Каждый разработчик и пользователь должен иметь возможность запускать именно ту модель и в том квантовании, которые лучше всего подходят под его задачу, а не подстраиваться под ограничения конкретной библиотеки. Поэтому фокус проекта постепенно сместился на главную идею — сделать локальный движок, который идеально подходит мне самому: работает на очень скромном и старом железе, но позволяет комфортно гонять довольно мощные модели.
На чем протестирован движок
Сейчас вся база отлажена на архитектуре Turing (RTX 2080 Ti), в процессе отладки Ampere (RTX 3090), а более новые видеокарты работают через совместимый PTX JIT или базовый SASS.
Планы развития
Но впереди ещё много работы. В ближайших планах:
-
Спекулятивное декодирование
-
Отдельные оптимизированные ядра под современные GPU: специализированный тюнинг CUDA-ядер под RTX 4090 и 5090 (Ada Lovelace и Blackwell), чтобы выжимать максимум пропускной способности и тензорных ядер на каждой архитектуре.
-
Мульти-GPU и NVLink: запуск крупных моделей на нескольких видеокартах в одном ПК с поддержкой прямого обмена через NVLink.
-
Распределённый инференс по локальной сети: возможность объединять вычислительные ресурсы нескольких домашних машин в единый кластер для запуска тяжёлых чекпоинтов.
-
Поддержка Intel Core Ultra NPU: перенос инференса на встроенные нейроускорители современных процессоров Intel для автономной работы без дискретной графики.
-
Новые алгоритмы квантизации: расширение поддержки современных сверхнизкобитных форматов сжатия весов.
Где пощупать
Весь код открыт под лицензией MIT, а обзор проекта, документация и замеры доступны на tinycoder.dev:
-
C++/CUDA движок инференса: https://github.com/mgorshkov/tinycoder-inference
-
Go HTTP-шлюз (OpenAI + Anthropic API, бинарник 9 МБ +
libtinycoder_bridge.so145 МБ): https://github.com/mgorshkov/tinycoder-openai
В завершение хочу ещё раз поблагодарить Яндекс и жюри программы грантов open-source проектов — без этой поддержки и веры в идею на старте TinyCoder вряд ли бы появился на свет.
Также хочу поблагодарить Nick Garkushenko за помощь в проверке TinyCoder на RTX 3090.
Буду рад вашим тестам на разных GPU и CPU, комментариям и Issue на GitHub!
Источник: habr.com