Неочевидный момент — на мини-компьютерах можно отдать практически всю оперативную память для интегрированного GPU, что позволяет запускать LLM типа 26B/27B, без необходимости покупать дорогостоящие видеокарты. В статье покажу, как это сделать, какие LLM работают и оценю их эффективность.

Объект тестирования
Продолжаю тестировать локальные нейросети в OpenSCAD, FreeCAD, Blender и SolidCraft. Цель — получить относительно недорогую и рабочую домашнюю связку. Для очередного теста взял мини компьютер GEEKOM GT1 Mega, у которого 32 ГБ ОЗУ, и в память помещаются модели в три-четыре раза крупнее, чем я пробовал до этого (7B/8B на видеокарте с 8 ГБ VRAM).

Чем интересен этот компьютер — маленький, тихий (действительно тихий, особенно если сравнивать с десктопами с дискретными GPU), с умеренным потреблением электроэнергии, с умеренным нагревом. В нём установлен процессор Intel Core Ultra 9 185H (16 ядер, 22 потока, максимальная частота 5,1 ГГц), встроенная видеокарта Intel Arc Graphics (8 ядер Xe), которая поддерживает аппаратную трассировку лучей и имеет выделенный NPU (блок нейронных вычислений). В комплектации с 32 ГБ двухканальной памяти DDR5-5600. Все это обеспечивает приличную аппаратную базу для локальных задач AI и работы с креативным контентом. В принципе, можно установить и 64 Гб памяти, но это потребует замену сразу двух модулей DDR5.

Shared GPU Memory Override
Часто сталкиваюсь с тем, что при запуске моделей практически «впритык» по объему памяти, Ollama падает с ошибкой нехватки памяти. Встроенная графика Arc своей памяти не имеет и берёт часть общей оперативной памяти. По умолчанию Windows разрешает ей около половины ОЗУ — ранее на компьютере с 32 ГБ Ollama видела 18 ГБ.
Intel Graphics Software
У процессоров Intel Core Ultra со встроенной Arc этот предел виртуальной VRAM меняется в программе Intel Graphics Software, в разделе Настройки — Система — Параметр Shared GPU Memory Override («переопределение общей памяти графики»). Отдаем необходимое количество ОЗУ для работы с iGPU. В данном случае я отдаю более 80% всей памяти — 26 Гб (можно перераспределить и больше). Этот объем определяю исходя из требований большинства LLM типа 26B/27B. После изменения нужна перезагрузка.
Intel Graphics Software
Фактически, этим ползунком я передвинул свой мини-ПК практически на уровень видеокарт с 24 ГБ VRAM. Конечно, быстрее работать от этого он не стал. А вот с запуском LLM стало сильно легче. Gemma с окном контекста 24 576 токенов занимает в графике около 16–17 ГБ, Tiel-Coder — около 17–18 ГБ, так что запас есть. Windows и остальным программам остаётся 5–6 ГБ. Тестам этого хватило: OpenSCAD, Blender, SolidCraft и компилятор arduino-cli работали параллельно с моделью без проблем. Вот так это выглядит в диспетчере задач — при загруженной в памяти LLM востребовано 20 ГБ ОЗУ из 26 Гб, доступных для iGPU.
Диспетчер устройств — загрузка iGPU
Тестирование
Я выбрал несколько моделей, которые могут более или менее комфортно работать с такими ресурсами и памятью. Речь идет про Gemma 4 26B-A4B, Tiel-Coder 35B-A3B, GPT-OSS 20B и Qwen3-Coder 30B-A3B.
Начну с Gemma 4 26B-A4B — это модель Google DeepMind. В названии два числа: всего в ней 25,2 миллиарда параметров, но на каждый токен работает около 4 миллиардов («A4B» — active 4B). Так устроены MoE-модели: внутри много «экспертов», и на каждом шаге включаются только нужные. Памяти она требует как большая модель, а считает почти как маленькая. В Ollama: gemma4:26b, квантизация Q4_K_M, 18 ГБ на диске. Понимает картинки, умеет вызывать инструменты и рассуждать. Модуль для картинок (mmproj, 0,9 ГБ) Ollama скачивает сам. Установка простая:
ollama pull gemma4:26b
Tiel-Coder 35B-A3B — сторонняя сборка на Hugging Face (npario/Tiel-Coder-35B-A3B-GGUF, лицензия MIT). Это доработанная под программирование модель Ornith-1.5 35B-A3B на архитектуре Qwen 3.5 MoE: 34,7 миллиарда параметров, около 3 миллиардов активных. Я взял вариант UD-IQ4_XS (17,7 ГБ) — по размеру он ближе всего к Gemma, будет интереснее сравнивать. Ставится вот такой командой:
ollama pull hf.co/npario/Tiel-Coder-35B-A3B-GGUF:UD-IQ4_XS
В процессе тестирования добавил GPT-OSS 20B (открытая модель OpenAI в родном формате MXFP4) и Qwen3-Coder 30B-A3B (специализированная модель Alibaba для кода, квантование IQ4_NL). Все это также будет интересно сравнить.
Gemma 4 26B-A4B
Tiel-Coder 35B-A3B
GPT-OSS 20B
Qwen3-Coder 30B-A3B
Параметров всего / активных
25,2 млрд / ~4 млрд
34,7 млрд / ~3 млрд
20,9 млрд / ~3,6 млрд
30,5 млрд / ~3,3 млрд
Формат
Q4_K_M
UD-IQ4_XS
MXFP4
IQ4_NL
Файл
18 ГБ
18 ГБ
13 ГБ
17 ГБ
Картинки
да
да
нет
нет
Рассуждения
выключены
выключены
минимум (low)
нет
Загрузка на GPU
26 с
31 с
21 с
28 с
Эти модели также ставятся одной командой каждая:
ollama pull gpt-oss:20bollama pull hf.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:IQ4_NL
При настройке нужно указать переменные OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1, чтобы Ollama смогла запускать LLM на встроенной графике.
set OLLAMA_VULKAN=1set OLLAMA_IGPU_ENABLE=1set OLLAMA_HOST=127.0.0.1:11435ollama serve
После перезагрузки Ollama сообщила, что графике доступно 26,2 ГБ. Модели загрузились полностью, все слои на графике: в ollama ps — «100% GPU».

Как я считал токены, время и энергию
Токены — из ответа Ollama: на каждой попытке prompt_eval_count (вход) и eval_count (выход), затем сумма по всем попыткам задания. Время — от начала задания до результата, включая запуск CAD-программы и компилятора.
Энергию я мерил по счётчикам процессора. Windows отдаёт данные Intel RAPL через счётчики производительности «Energy Meter»: мощность всего процессорного пакета (ядра, встроенная графика, контроллер памяти). Скрипт записывал её раз в 1,7 секунды, потом я интегрировал мощность по времени каждого задания. Это не мощность от розетки: в неё не входят модули памяти, SSD, вентилятор и потери блока питания. Для мини-ПК это примерно ещё 20–30 % сверху.
Gemma, CPU
Gemma, GPU
Tiel-Coder, CPU
Tiel-Coder, GPU
Генерация, токенов/с
15,8
19,1 (+21 %)
12,2
16,9 (+39 %)
Средняя мощность пакета
45,2 Вт
32,6 Вт
45,0 Вт
32,1 Вт
из них графика
0 Вт
≈ 11 Вт
0 Вт
≈ 14 Вт
Энергия на 1000 токенов ответа
1,20 Вт·ч
0,87 Вт·ч (−28 %)
1,28 Вт·ч
0,74 Вт·ч (−42 %)
Энергия всех 11 прогонов
29,8 Вт·ч
21,3 Вт·ч
43,0 Вт·ч
20,9 Вт·ч
Время всех 11 прогонов
40 мин
39 мин
57 мин
39 мин
Загрузка модели
23 с
26 с
25 с
31 с
Что показали счётчики:
-
В простое пакет потребляет около 8,5 Вт.
-
Под нагрузкой — ровно 45 Вт: это долговременный лимит мощности процессора. Короткие пики до 70 Вт появляются при загрузке модели и в начале каждого ответа.
-
Встроенная графика всё это время спит (0 Вт), что подтверждает работу только на процессоре (на скриншоте пример работы на CPU).
Мощность процессорного пакета за все тесты: ровные 45 Вт под нагрузкой, пики до 70 Вт
Мощность за все тесты на графике: пакет 25–40 Вт, графическая часть около 15 Вт во время генерации
Задания и референсные картинки
Использую вот такие задания для оценки генерации:
-
Шестерня для Pip-Boy в OpenSCAD и во FreeCAD: 24 зуба, модуль 1 мм, толщина 5 мм, отверстие 5 мм с лыской (D-профиль), четыре облегчающих отверстия 4 мм на радиусе 7 мм. Ожидаемый размер 26 × 26 × 5 мм.
-
Ручка-крутилка в Blender: диаметр 22 мм, высота 14 мм, 18 рёбер накатки, фаска сверху, риска-указатель, глухое отверстие 6 мм под вал.
-
Корпус под плату ESP32-C3 в SolidCraft через MCP: коробка 60 × 36 × 22 мм, открытая сверху, стенки и дно 2 мм; сохранить проект, экспортировать STEP и STL.
К каждому CAD-заданию модель сразу получает картинку. Для шестерни и ручки это не готовый ответ, а похожая деталь другого размера: шестерня на 30 зубьев с шестью отверстиями и ручка диаметром 30 мм. Для корпуса — фото самой платы ESP32-C3. Идея в том, что модель видит, что именно от неё хотят, а размеры считает сама по заданию.
Референсные картинки, которые модель получала вместе с заданием
Тесты шли двумя группами:
-
Без шаблонов — только задание и картинка, каждое задание дважды. Это сложный тест: в таком режиме LLM не справилась ни разу, так что я не стану учитывать его результаты в итоге.
-
С шаблонами — подсказки-образцы (рефренсы), например, изображение шестерни на 30 зубьев кодом, ручка кодом, цепочка вызовов SolidCraft для коробки другого размера. Использовал, чтобы сравнить скорость и расход токенов на одинаковой задаче.
По сути, первая часть тестов не так интересна, так как без рефренсов шанс получить корректный ответ сильно снижается. Всё гонял один скрипт bench2.py: отправлял задание в Ollama, вырезал код, запускал OpenSCAD, FreeCAD, Blender или arduino-cli, при ошибке возвращал её текст модели. Для SolidCraft — используется агент через MCP.
Так выглядит прогон: токены на входе и выходе, время каждой попытки и итог
С подсказками (рефренсами) модели сделали все три детали верно и с первой попытки. Но интересный момент — они не сделали это быстрее 8B-моделей. Сравниваю модели попарно.
С шаблонами — все шесть деталей верные
Задание
Модель
Время, с
Вход, ток.
Выход, ток.
Энергия, Вт·ч
Шестерня OpenSCAD
Qwen3 8B
34
760
289
0,26 (оценка)
Gemma 26B
65
1 091
423
0,8
Tiel-Coder 35B
61
1 564
304
0,7
Ручка Blender
Qwen3 8B
47
935
595
0,35 (оценка)
Gemma 26B
97
1 363
905
1,2
Tiel-Coder 35B
81
1 759
555
1,0
Корпус SolidCraft
Qwen3 8B
81
28 663
369
0,6 (оценка)
Gemma 26B
162
34 717
489
2,0
Tiel-Coder 35B
122
47 324
644
1,5
Скорость генерации у всех примерно одинаковая, около 15 токенов/с (упирается в ресурсы мини-ПК), а большие модели пишут длиннее: больше комментариев, больше проверок. Кроме того, картинка добавляет 300–500 токенов на входе, а процессор читает промпт заметно медленнее, чем встроенная графика. Когда задача уже разжёвана шаблоном, ум большой модели не нужен, и она просто дороже в плане ресурсов.
С шаблонами: время, выходные токены и энергия
Gemma 4 26B-A4B
Tiel-Coder 35B-A3B
Прогонов (без шаблонов + с шаблонами)
10 + 3
10 + 3
Входных токенов
125 493
296 370
Выходных токенов
32 130
40 467
Время всех прогонов
49 мин
67 мин
Генерация, токенов/с
15,7
12,3
Средняя мощность пакета
45 Вт
45 Вт
Энергия пакета, Вт·ч
37,2
50,2
Из них без шаблонов
33,2 Вт·ч на 10 прогонов
46,9 Вт·ч на 10 прогонов
Стоимость при 6,5 ₽ за кВт·ч
0,24 ₽
0,33 ₽
Энергия одного прогона без шаблона — от 1,8 Вт·ч (шестерня, корпус) у Gemma и до 9,3 Вт·ч у Tiel-Coder. Если добавить потребление остального компьютера, все 26 прогонов обошлись примерно в 0,11 кВт·ч — меньше рубля. Tiel-Coder потратила в 2,4 раза больше входных токенов, чем Gemma. Почти всё ушло на неудачи: каждая новая попытка отправляет модели весь предыдущий диалог. В SolidCraft она делала по 13 ходов там, где Gemma обходилась пятью. На встроенной графике генерация быстрее на 21 % у Gemma и на 39 % у Tiel-Coder. Средняя мощность процессорного пакета падает с 45 до 32–33 Вт. Энергия на 1000 токенов ответа снижается на 28 % и 42 %. Качество деталей от устройства не зависит: разброс между двумя повторами одного задания больше, чем разница CPU и GPU.
Вторая пара сравнений. Обе модели GPT-OSS 20B и Qwen3-Coder 30B-A3B решают с первой попытки.
Задание (с шаблоном)
Модель
CPU
GPU
Энергия CPU → GPU
Шестерня OpenSCAD
Gemma 26B
65 с
58 с
0,80 → 0,52 Вт·ч
Tiel-Coder 35B
61 с
51 с
0,74 → 0,49 Вт·ч
Ручка Blender
Gemma 26B
97 с
81 с
1,24 → 0,76 Вт·ч
Tiel-Coder 35B
81 с
62 с
1,03 → 0,65 Вт·ч
Корпус SolidCraft
Gemma 26B
162 с
154 с
2,02 → 1,15 Вт·ч
Tiel-Coder 35B
122 с
114 с
1,53 → 0,94 Вт·ч
В SolidCraft выигрыш по времени меньше всего (5–7 %). Там модель пишет мало, а в основном читает длинный промпт: описания 13 инструментов и историю вызовов, 30–60 тысяч токенов за задание. Часть времени уходит на саму SolidCraft. Точно разделить, что из этого ускорилось, а что нет, по моим замерам нельзя. Энергию графика экономит и здесь — около 40 %.
Задания с шаблонами: время и энергия на CPU и на GPU
Результаты сравнительного теста
С подсказками-образцами из первой статьи все четыре модели сделали все три детали верно и с первой попытки. Здесь сравнение самое честное — задача одна и та же.
С шаблонами: время и энергия на задание
GPT-OSS и Qwen3-Coder пишут по шаблону короче и без лишних комментариев, поэтому заканчивают вдвое быстрее Gemma. В SolidCraft GPT-OSS вообще лучшая: 55 секунд против 114–154 у остальных. Если задача уже разжёвана шаблоном, эти две модели выгоднее.
Задание (с шаблоном)
Gemma 4 26B
Tiel-Coder 35B
GPT-OSS 20B
Qwen3-Coder 30B
Шестерня OpenSCAD
58 с / 0,52 Вт·ч
51 с / 0,49 Вт·ч
31 с / 0,39 Вт·ч
35 с / 0,29 Вт·ч
Ручка Blender
81 с / 0,76 Вт·ч
62 с / 0,65 Вт·ч
43 с / 0,56 Вт·ч
45 с / 0,37 Вт·ч
Корпус SolidCraft
154 с / 1,15 Вт·ч
114 с / 0,94 Вт·ч
55 с / 0,71 Вт·ч
141 с / 1,14 Вт·ч
Какую модель выбрать для этого или подобного мини-ПК
Итог:
-
Основная модель — Gemma 4 26B-A4B. Единственная из четырёх, которая хоть что-то делает в CAD без шаблона и пишет компилируемые прошивки. Самая быстрая на этой графике, понимает картинки и умеет работать с MCP.
-
Вторая модель для прошивок и кода — GPT-OSS 20B. Лучше всех доводит код до компиляции по ошибкам и быстрее всех работает по шаблону. Минус — на встроенной Arc она нагружает и процессор: 44 Вт вместо 29–33.
-
Qwen3-Coder 30B-A3B — только с шаблонами. Самая экономная, но без примера в CAD и прошивке не справилась ни разу.
-
Tiel-Coder 35B-A3B можно удалять. Ни в одной категории она не первая.
Критерий
Лучшая модель
Скорость генерации
Gemma 4 26B — 19,1 токена/с
Экономия энергии
Qwen3-Coder 30B — 0,61 Вт·ч на 1000 токенов
CAD без шаблона
Gemma 4 26B — 4 из 6 деталей хотя бы частично
Прошивка ESP32 без шаблона
Gemma 4 26B и GPT-OSS 20B — 2 из 2
Исправление ошибок по тексту компилятора
GPT-OSS 20B
Работа по готовому шаблону
GPT-OSS 20B (быстрее всех), Qwen3-Coder (экономнее всех)
Картинки в задании
только Gemma 4 и Tiel-Coder
Несколько замечаний по результатам тестов:
-
Если у вас Core Ultra со встроенной Arc и 32 ГБ памяти — поднимите Shared GPU Memory Override до 24–26 ГБ. Это единственное, что нужно, чтобы модели на 17–18 ГБ работали на графике.
-
Встроенная графика быстрее процессора на 20–40 % в генерации и тратит на 28–42 % меньше энергии на тот же объём текста. Пакет работает на 32 Вт вместо 45.
-
В MCP-агенте SolidCraft, где модель в основном читает длинный промпт, выигрыш по времени всего 5–7 %, по энергии — около 40 %. Если честно, именно SolidCraft мне понравился для генерации моделей (корпуса и подобное) с помощью LLM, а не FreeCAD/OpenSCAD.
-
Основные ошибки моделей одинаковы на CPU и на GPU. Лечатся они примерами и точными формулировками в задании, а не железом. Если контекст получается длинный — то не нужно отправлять всю информацию при очередном этапе (оправьте только нужную информацию для устранения ошибок, без раздувания контекста). Большие задачи дробите на законченные части.
-
Для создания CAD-моделей на 32 ГБ начните с gemma4:26b. Она понимает картинки, умеет MCP и без шаблона решает часть задач, которые 8B не по силам. Используйте рефренсы (шаблоны и примеры) — с ними любая модель делает деталь верно с первой попытки. Добавляйте в задание контрольную величину: объём коробки, центр масс, число зубьев. Тогда модель может проверить себя сама.
-
Еще один неочевидный вывод — для простых задач с коротким контекстом и с рефренсом компактная 8B-модель может оказаться выгоднее.
Если держать только одну модель на ПК, то имеет смысл выбрать Gemma 4 26B-A4B. Она самая быстрая (19 токенов/с) и единственная из четырёх иногда справляется с CAD-заданием без шаблона, и она понимает картинки (для рефренсов). Если место на диске позволяет — Gemma для «подумать и сделать с нуля» и GPT-OSS для быстрых задач по шаблону и доводки кода. Qwen3-Coder — самая экономная, но без шаблона не справилась ни с одним заданием.
Источник: habr.com