Лайфхак с Shared GPU Memory Override или как я запускал нейросети на мини-ПК (на примере GEEKOM GT1 Mega)

Неочевидный момент — на мини-компьютерах можно отдать практически всю оперативную память для интегрированного GPU, что позволяет запускать LLM типа 26B/27B, без необходимости покупать дорогостоящие видеокарты. В статье покажу, как это сделать, какие LLM работают и оценю их эффективность.

Объект тестирования

Продолжаю тестировать локальные нейросети в OpenSCAD, FreeCAD, Blender и SolidCraft. Цель — получить относительно недорогую и рабочую домашнюю связку. Для очередного теста взял мини компьютер GEEKOM GT1 Mega, у которого 32 ГБ ОЗУ, и в память помещаются модели в три-четыре раза крупнее, чем я пробовал до этого (7B/8B на видеокарте с 8 ГБ VRAM).

Чем интересен этот компьютер — маленький, тихий (действительно тихий, особенно если сравнивать с десктопами с дискретными GPU), с умеренным потреблением электроэнергии, с умеренным нагревом. В нём установлен процессор Intel Core Ultra 9 185H (16 ядер, 22 потока, максимальная частота 5,1 ГГц), встроенная видеокарта Intel Arc Graphics (8 ядер Xe), которая поддерживает аппаратную трассировку лучей и имеет выделенный NPU (блок нейронных вычислений). В комплектации с 32 ГБ двухканальной памяти DDR5-5600. Все это обеспечивает приличную аппаратную базу для локальных задач AI и работы с креативным контентом. В принципе, можно установить и 64 Гб памяти, но это потребует замену сразу двух модулей DDR5.

Shared GPU Memory Override

Часто сталкиваюсь с тем, что при запуске моделей практически «впритык» по объему памяти, Ollama падает с ошибкой нехватки памяти. Встроенная графика Arc своей памяти не имеет и берёт часть общей оперативной памяти. По умолчанию Windows разрешает ей около половины ОЗУ — ранее на компьютере с 32 ГБ Ollama видела 18 ГБ.

Intel Graphics SoftwareIntel Graphics Software

У процессоров Intel Core Ultra со встроенной Arc этот предел виртуальной VRAM меняется в программе Intel Graphics Software, в разделе Настройки — Система — Параметр Shared GPU Memory Override («переопределение общей памяти графики»). Отдаем необходимое количество ОЗУ для работы с iGPU. В данном случае я отдаю более 80% всей памяти — 26 Гб (можно перераспределить и больше). Этот объем определяю исходя из требований большинства LLM типа 26B/27B. После изменения нужна перезагрузка.

Intel Graphics SoftwareIntel Graphics Software

Фактически, этим ползунком я передвинул свой мини-ПК практически на уровень видеокарт с 24 ГБ VRAM. Конечно, быстрее работать от этого он не стал. А вот с запуском LLM стало сильно легче. Gemma с окном контекста 24 576 токенов занимает в графике около 16–17 ГБ, Tiel-Coder — около 17–18 ГБ, так что запас есть. Windows и остальным программам остаётся 5–6 ГБ. Тестам этого хватило: OpenSCAD, Blender, SolidCraft и компилятор arduino-cli работали параллельно с моделью без проблем. Вот так это выглядит в диспетчере задач — при загруженной в памяти LLM востребовано 20 ГБ ОЗУ из 26 Гб, доступных для iGPU.

Диспетчер устройств - загрузка iGPUДиспетчер устройств — загрузка iGPU

Тестирование

Я выбрал несколько моделей, которые могут более или менее комфортно работать с такими ресурсами и памятью. Речь идет про Gemma 4 26B-A4B, Tiel-Coder 35B-A3B, GPT-OSS 20B и Qwen3-Coder 30B-A3B.

Начну с Gemma 4 26B-A4B — это модель Google DeepMind. В названии два числа: всего в ней 25,2 миллиарда параметров, но на каждый токен работает около 4 миллиардов («A4B» — active 4B). Так устроены MoE-модели: внутри много «экспертов», и на каждом шаге включаются только нужные. Памяти она требует как большая модель, а считает почти как маленькая. В Ollama: gemma4:26b, квантизация Q4_K_M, 18 ГБ на диске. Понимает картинки, умеет вызывать инструменты и рассуждать. Модуль для картинок (mmproj, 0,9 ГБ) Ollama скачивает сам. Установка простая:

ollama pull gemma4:26b

Tiel-Coder 35B-A3B — сторонняя сборка на Hugging Face (npario/Tiel-Coder-35B-A3B-GGUF, лицензия MIT). Это доработанная под программирование модель Ornith-1.5 35B-A3B на архитектуре Qwen 3.5 MoE: 34,7 миллиарда параметров, около 3 миллиардов активных. Я взял вариант UD-IQ4_XS (17,7 ГБ) — по размеру он ближе всего к Gemma, будет интереснее сравнивать. Ставится вот такой командой:

ollama pull hf.co/npario/Tiel-Coder-35B-A3B-GGUF:UD-IQ4_XS

В процессе тестирования добавил GPT-OSS 20B (открытая модель OpenAI в родном формате MXFP4) и Qwen3-Coder 30B-A3B (специализированная модель Alibaba для кода, квантование IQ4_NL). Все это также будет интересно сравнить.

 

Gemma 4 26B-A4B

Tiel-Coder 35B-A3B

GPT-OSS 20B

Qwen3-Coder 30B-A3B

Параметров всего / активных

25,2 млрд / ~4 млрд

34,7 млрд / ~3 млрд

20,9 млрд / ~3,6 млрд

30,5 млрд / ~3,3 млрд

Формат

Q4_K_M

UD-IQ4_XS

MXFP4

IQ4_NL

Файл

18 ГБ

18 ГБ

13 ГБ

17 ГБ

Картинки

да

да

нет

нет

Рассуждения

выключены

выключены

минимум (low)

нет

Загрузка на GPU

26 с

31 с

21 с

28 с

Эти модели также ставятся одной командой каждая:

ollama pull gpt-oss:20bollama pull hf.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF:IQ4_NL

При настройке нужно указать переменные OLLAMA_VULKAN=1 и OLLAMA_IGPU_ENABLE=1, чтобы Ollama смогла запускать LLM на встроенной графике.

set OLLAMA_VULKAN=1set OLLAMA_IGPU_ENABLE=1set OLLAMA_HOST=127.0.0.1:11435ollama serve

После перезагрузки Ollama сообщила, что графике доступно 26,2 ГБ. Модели загрузились полностью, все слои на графике: в ollama ps — «100% GPU».

Как я считал токены, время и энергию

Токены — из ответа Ollama: на каждой попытке prompt_eval_count (вход) и eval_count (выход), затем сумма по всем попыткам задания. Время — от начала задания до результата, включая запуск CAD-программы и компилятора.

Энергию я мерил по счётчикам процессора. Windows отдаёт данные Intel RAPL через счётчики производительности «Energy Meter»: мощность всего процессорного пакета (ядра, встроенная графика, контроллер памяти). Скрипт записывал её раз в 1,7 секунды, потом я интегрировал мощность по времени каждого задания. Это не мощность от розетки: в неё не входят модули памяти, SSD, вентилятор и потери блока питания. Для мини-ПК это примерно ещё 20–30 % сверху.

 

Gemma, CPU

Gemma, GPU

Tiel-Coder, CPU

Tiel-Coder, GPU

Генерация, токенов/с

15,8

19,1 (+21 %)

12,2

16,9 (+39 %)

Средняя мощность пакета

45,2 Вт

32,6 Вт

45,0 Вт

32,1 Вт

из них графика

0 Вт

≈ 11 Вт

0 Вт

≈ 14 Вт

Энергия на 1000 токенов ответа

1,20 Вт·ч

0,87 Вт·ч (−28 %)

1,28 Вт·ч

0,74 Вт·ч (−42 %)

Энергия всех 11 прогонов

29,8 Вт·ч

21,3 Вт·ч

43,0 Вт·ч

20,9 Вт·ч

Время всех 11 прогонов

40 мин

39 мин

57 мин

39 мин

Загрузка модели

23 с

26 с

25 с

31 с

Что показали счётчики:

  • В простое пакет потребляет около 8,5 Вт.

  • Под нагрузкой — ровно 45 Вт: это долговременный лимит мощности процессора. Короткие пики до 70 Вт появляются при загрузке модели и в начале каждого ответа.

  • Встроенная графика всё это время спит (0 Вт), что подтверждает работу только на процессоре (на скриншоте пример работы на CPU).

Мощность процессорного пакета за все тесты: ровные 45 Вт под нагрузкой, пики до 70 Вт Мощность процессорного пакета за все тесты: ровные 45 Вт под нагрузкой, пики до 70 Вт Мощность за все тесты на графике: пакет 25–40 Вт, графическая часть около 15 Вт во время генерации Мощность за все тесты на графике: пакет 25–40 Вт, графическая часть около 15 Вт во время генерации

Задания и референсные картинки

Использую вот такие задания для оценки генерации:

  • Шестерня для Pip-Boy в OpenSCAD и во FreeCAD: 24 зуба, модуль 1 мм, толщина 5 мм, отверстие 5 мм с лыской (D-профиль), четыре облегчающих отверстия 4 мм на радиусе 7 мм. Ожидаемый размер 26 × 26 × 5 мм.

  • Ручка-крутилка в Blender: диаметр 22 мм, высота 14 мм, 18 рёбер накатки, фаска сверху, риска-указатель, глухое отверстие 6 мм под вал.

  • Корпус под плату ESP32-C3 в SolidCraft через MCP: коробка 60 × 36 × 22 мм, открытая сверху, стенки и дно 2 мм; сохранить проект, экспортировать STEP и STL.

К каждому CAD-заданию модель сразу получает картинку. Для шестерни и ручки это не готовый ответ, а похожая деталь другого размера: шестерня на 30 зубьев с шестью отверстиями и ручка диаметром 30 мм. Для корпуса — фото самой платы ESP32-C3. Идея в том, что модель видит, что именно от неё хотят, а размеры считает сама по заданию.

Референсные картинки, которые модель получала вместе с заданием Референсные картинки, которые модель получала вместе с заданием

Тесты шли двумя группами:

  • Без шаблонов — только задание и картинка, каждое задание дважды. Это сложный тест: в таком режиме LLM не справилась ни разу, так что я не стану учитывать его результаты в итоге.

  • С шаблонами — подсказки-образцы (рефренсы), например, изображение шестерни на 30 зубьев кодом, ручка кодом, цепочка вызовов SolidCraft для коробки другого размера. Использовал, чтобы сравнить скорость и расход токенов на одинаковой задаче.

По сути, первая часть тестов не так интересна, так как без рефренсов шанс получить корректный ответ сильно снижается. Всё гонял один скрипт bench2.py: отправлял задание в Ollama, вырезал код, запускал OpenSCAD, FreeCAD, Blender или arduino-cli, при ошибке возвращал её текст модели. Для SolidCraft — используется агент через MCP.

Так выглядит прогон: токены на входе и выходе, время каждой попытки и итог Так выглядит прогон: токены на входе и выходе, время каждой попытки и итог

С подсказками (рефренсами) модели сделали все три детали верно и с первой попытки. Но интересный момент — они не сделали это быстрее 8B-моделей. Сравниваю модели попарно.

С шаблонами — все шесть деталей верныеС шаблонами — все шесть деталей верные

Задание

Модель

Время, с

Вход, ток.

Выход, ток.

Энергия, Вт·ч

Шестерня OpenSCAD

Qwen3 8B

34

760

289

0,26 (оценка)

 

Gemma 26B

65

1 091

423

0,8

 

Tiel-Coder 35B

61

1 564

304

0,7

Ручка Blender

Qwen3 8B

47

935

595

0,35 (оценка)

 

Gemma 26B

97

1 363

905

1,2

 

Tiel-Coder 35B

81

1 759

555

1,0

Корпус SolidCraft

Qwen3 8B

81

28 663

369

0,6 (оценка)

 

Gemma 26B

162

34 717

489

2,0

 

Tiel-Coder 35B

122

47 324

644

1,5

Скорость генерации у всех примерно одинаковая, около 15 токенов/с (упирается в ресурсы мини-ПК), а большие модели пишут длиннее: больше комментариев, больше проверок. Кроме того, картинка добавляет 300–500 токенов на входе, а процессор читает промпт заметно медленнее, чем встроенная графика. Когда задача уже разжёвана шаблоном, ум большой модели не нужен, и она просто дороже в плане ресурсов.

С шаблонами: время, выходные токены и энергия С шаблонами: время, выходные токены и энергия

 

Gemma 4 26B-A4B

Tiel-Coder 35B-A3B

Прогонов (без шаблонов + с шаблонами)

10 + 3

10 + 3

Входных токенов

125 493

296 370

Выходных токенов

32 130

40 467

Время всех прогонов

49 мин

67 мин

Генерация, токенов/с

15,7

12,3

Средняя мощность пакета

45 Вт

45 Вт

Энергия пакета, Вт·ч

37,2

50,2

Из них без шаблонов

33,2 Вт·ч на 10 прогонов

46,9 Вт·ч на 10 прогонов

Стоимость при 6,5 ₽ за кВт·ч

0,24 ₽

0,33 ₽

Энергия одного прогона без шаблона — от 1,8 Вт·ч (шестерня, корпус) у Gemma и до 9,3 Вт·ч у Tiel-Coder. Если добавить потребление остального компьютера, все 26 прогонов обошлись примерно в 0,11 кВт·ч — меньше рубля. Tiel-Coder потратила в 2,4 раза больше входных токенов, чем Gemma. Почти всё ушло на неудачи: каждая новая попытка отправляет модели весь предыдущий диалог. В SolidCraft она делала по 13 ходов там, где Gemma обходилась пятью. На встроенной графике генерация быстрее на 21 % у Gemma и на 39 % у Tiel-Coder. Средняя мощность процессорного пакета падает с 45 до 32–33 Вт. Энергия на 1000 токенов ответа снижается на 28 % и 42 %. Качество деталей от устройства не зависит: разброс между двумя повторами одного задания больше, чем разница CPU и GPU.

Вторая пара сравнений. Обе модели GPT-OSS 20B и Qwen3-Coder 30B-A3B решают с первой попытки.

Задание (с шаблоном)

Модель

CPU

GPU

Энергия CPU → GPU

Шестерня OpenSCAD

Gemma 26B

65 с

58 с

0,80 → 0,52 Вт·ч

 

Tiel-Coder 35B

61 с

51 с

0,74 → 0,49 Вт·ч

Ручка Blender

Gemma 26B

97 с

81 с

1,24 → 0,76 Вт·ч

 

Tiel-Coder 35B

81 с

62 с

1,03 → 0,65 Вт·ч

Корпус SolidCraft

Gemma 26B

162 с

154 с

2,02 → 1,15 Вт·ч

 

Tiel-Coder 35B

122 с

114 с

1,53 → 0,94 Вт·ч

 В SolidCraft выигрыш по времени меньше всего (5–7 %). Там модель пишет мало, а в основном читает длинный промпт: описания 13 инструментов и историю вызовов, 30–60 тысяч токенов за задание. Часть времени уходит на саму SolidCraft. Точно разделить, что из этого ускорилось, а что нет, по моим замерам нельзя. Энергию графика экономит и здесь — около 40 %.

Задания с шаблонами: время и энергия на CPU и на GPU Задания с шаблонами: время и энергия на CPU и на GPU

Результаты сравнительного теста

С подсказками-образцами из первой статьи все четыре модели сделали все три детали верно и с первой попытки. Здесь сравнение самое честное — задача одна и та же.

С шаблонами: время и энергия на задание С шаблонами: время и энергия на задание

GPT-OSS и Qwen3-Coder пишут по шаблону короче и без лишних комментариев, поэтому заканчивают вдвое быстрее Gemma. В SolidCraft GPT-OSS вообще лучшая: 55 секунд против 114–154 у остальных. Если задача уже разжёвана шаблоном, эти две модели выгоднее.

Задание (с шаблоном)

Gemma 4 26B

Tiel-Coder 35B

GPT-OSS 20B

Qwen3-Coder 30B

Шестерня OpenSCAD

58 с / 0,52 Вт·ч

51 с / 0,49 Вт·ч

31 с / 0,39 Вт·ч

35 с / 0,29 Вт·ч

Ручка Blender

81 с / 0,76 Вт·ч

62 с / 0,65 Вт·ч

43 с / 0,56 Вт·ч

45 с / 0,37 Вт·ч

Корпус SolidCraft

154 с / 1,15 Вт·ч

114 с / 0,94 Вт·ч

55 с / 0,71 Вт·ч

141 с / 1,14 Вт·ч

Какую модель выбрать для этого или подобного мини-ПК

Итог:

  • Основная модель — Gemma 4 26B-A4B. Единственная из четырёх, которая хоть что-то делает в CAD без шаблона и пишет компилируемые прошивки. Самая быстрая на этой графике, понимает картинки и умеет работать с MCP.

  • Вторая модель для прошивок и кода — GPT-OSS 20B. Лучше всех доводит код до компиляции по ошибкам и быстрее всех работает по шаблону. Минус — на встроенной Arc она нагружает и процессор: 44 Вт вместо 29–33.

  • Qwen3-Coder 30B-A3B — только с шаблонами. Самая экономная, но без примера в CAD и прошивке не справилась ни разу.

  • Tiel-Coder 35B-A3B можно удалять. Ни в одной категории она не первая.

Критерий

Лучшая модель

Скорость генерации

Gemma 4 26B — 19,1 токена/с

Экономия энергии

Qwen3-Coder 30B — 0,61 Вт·ч на 1000 токенов

CAD без шаблона

Gemma 4 26B — 4 из 6 деталей хотя бы частично

Прошивка ESP32 без шаблона

Gemma 4 26B и GPT-OSS 20B — 2 из 2

Исправление ошибок по тексту компилятора

GPT-OSS 20B

Работа по готовому шаблону

GPT-OSS 20B (быстрее всех), Qwen3-Coder (экономнее всех)

Картинки в задании

только Gemma 4 и Tiel-Coder

Несколько замечаний по результатам тестов:

  • Если у вас Core Ultra со встроенной Arc и 32 ГБ памяти — поднимите Shared GPU Memory Override до 24–26 ГБ. Это единственное, что нужно, чтобы модели на 17–18 ГБ работали на графике.

  • Встроенная графика быстрее процессора на 20–40 % в генерации и тратит на 28–42 % меньше энергии на тот же объём текста. Пакет работает на 32 Вт вместо 45.

  • В MCP-агенте SolidCraft, где модель в основном читает длинный промпт, выигрыш по времени всего 5–7 %, по энергии — около 40 %. Если честно, именно SolidCraft мне понравился для генерации моделей (корпуса и подобное) с помощью LLM, а не FreeCAD/OpenSCAD.

  • Основные ошибки моделей одинаковы на CPU и на GPU. Лечатся они примерами и точными формулировками в задании, а не железом. Если контекст получается длинный — то не нужно отправлять всю информацию при очередном этапе (оправьте только нужную информацию для устранения ошибок, без раздувания контекста). Большие задачи дробите на законченные части.

  • Для создания CAD-моделей на 32 ГБ начните с gemma4:26b. Она понимает картинки, умеет MCP и без шаблона решает часть задач, которые 8B не по силам. Используйте рефренсы (шаблоны и примеры) — с ними любая модель делает деталь верно с первой попытки. Добавляйте в задание контрольную величину: объём коробки, центр масс, число зубьев. Тогда модель может проверить себя сама.

  • Еще один неочевидный вывод — для простых задач с коротким контекстом и с рефренсом компактная 8B-модель может оказаться выгоднее.

Если держать только одну модель на ПК, то имеет смысл выбрать Gemma 4 26B-A4B. Она самая быстрая (19 токенов/с) и единственная из четырёх иногда справляется с CAD-заданием без шаблона, и она понимает картинки (для рефренсов). Если место на диске позволяет — Gemma для «подумать и сделать с нуля» и GPT-OSS для быстрых задач по шаблону и доводки кода. Qwen3-Coder — самая экономная, но без шаблона не справилась ни с одним заданием.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев