Ноутбук для ИИ в 2026 году? Настройка LLM для локальной генерации на примере Ryzen 9 8940HX и GeForce RTX 5060

Генерировать программный код, создавать трехмерные модели, обрабатывать фотографии и даже запускать генерацию изображений сегодня можно непосредственно на ноутбуке. Причем для этого необязательно покупать дорогую рабочую станцию с профессиональной видеокартой или собирать отдельный сервер с несколькими GPU. В этой статье я хочу показать, как организовать локальную ИИ-станцию на базе MAIBENBEN X17F с процессором AMD Ryzen 9 8940HX и видеокартой NVIDIA GeForce RTX 5060.

Введение

Собственно говоря, на игровом ноутбуке можно не только играть, но и вполне себе настроить связку с локальной LLM. Мне стало интересно, насколько хорошо ноутбук «тянет» модели Qwen3.8-Flash-Next Coder IQ1_M, DeepSeek-Coder-V2-Lite Q2_K (и еще пара для сравнения), и насколько хорош получается сам код. Я прогнал одни и те же задачи через разные модели и два движка, собрал телеметрию раз в секунду (температура, ватты, память, токены) и посчитал два независимых рейтинга. Тестирую вот на таком ноутбуке — MAIBENBEN X17F с процессором AMD Ryzen 9 8940HX и видеокартой NVIDIA GeForce RTX 5060. На борту 24 Гб системной памяти и 8 Гб видеопамяти. Экран 17.3″ дюйма, довольно широкий — помещаются два полноценных окна для работы рядом. Для игр и работы с кодом такого экрана вполне достаточно.

Для удобства работы можно внешнюю USB-докстанцию или установить для дополнительного охлаждения вентиляторную подставку. Про нагрев и охлаждение этого ноутбука расскажу чуть ниже.

Сразу скажу, что для подобных тестов нужно переводить ноутбук в «турбо», «игровой» или иной «производительный режим», чтобы ноутбук не переключался бы на интегрированный видеочип. В данной модели предусмотрена как отдельная клавиша режимов, так и специальное приложение для выбора профиля производительности.

Также забегая вперед скажу, что не зря выбрал именно этот ноутбук — с завода установлен модуль памяти DDR5 на 24 Гб. То есть можно установить дополнительный (второй) модуль на 24 Гб и получить в сумме 48 Гб для запуска средних LLM (в режиме выгрузки из VRAM в системную память). У GeForce RTX 5060 Laptop есть 8 ГБ собственной видеопамяти GDDR7.

Выбранные модели

Современные движки инференса умеют распределять слои модели между GPU и CPU. Часть весов загружается в VRAM, остальная часть размещается в оперативной памяти и обрабатывается процессором. Strata для своей модели требует около 33 ГБ, поэтому я поставил второй модуль ОЗУ и, чтобы сравнение было честным, гонял на 40 ГБ все модели — и в Strata, и в Ollama. Вот такие модели выбрал для теста:

Модель

Движок

Квант / размер

Как легла в 8 ГБ VRAM

Qwen3.8-Flash-Next Coder IQ1_M

Strata 0.2.10 (движок 0.1.56, CUDA 13)

IQ1_M, 58,4 ГБ (2 шарда) + MTP 5,2 ГБ

23,4 ГБ экспертов в ОЗУ, 689 «горячих» экспертов (1,3 ГБ) и KV-окно 20 480 токенов в VRAM, второй шард читается с SSD

GPT-OSS 20B

Ollama 0.40.14 (CUDA)

MXFP4, 13,2 ГБ в памяти

25/25 слоёв на GPU, но эксперты MoE в ОЗУ: 5,0 ГБ VRAM (38 %)

Qwen3-Coder-30B-A3B

Ollama 0.40.14

IQ4_NL (unsloth), 19,6 ГБ

49/49 слоёв, 5,8 ГБ VRAM (29 %)

DeepSeek-Coder-V2-Lite

Ollama 0.40.14

Q2_K (bartowski), 15,5 ГБ с KV 64K

16/28 слоёв на GPU, 5,7 ГБ VRAM (37 %)

Общие параметры для всех: температура 0,3, контекст 65 536 токенов, KV-кэш q8_0 (в Strata — int8), flash attention, рассуждения выключены (у GPT-OSS — минимальный уровень low), одна модель в памяти, один запрос за раз.

Методика: стенд «Hard Code»

Стенд полностью автоматический: создание кода на полифонический DSP-синтезатор на C++20, распределённое хранилище на Raft и аудит чужого многомодульного проекта (Legacy Audit). Модель получает ТЗ, отвечает файлами в формате «### FILE: путь + блок кода», скрипт раскладывает их, собирает проект и прогоняет скрытые тесты, которых модель не видит. Код за модель никто не правит, то есть в реальной жизни я такой отправляю на доработку, пока код не станет «красивым», а в данном случае ошибки компиляции и провалы тестов возвращаются модели — до 3 раундов исправления сборки и 1 раунд по тестам. Какие задачи поставил:

Тест

Что проверяет

Независимая проверка

1. DSP-синтезатор (C++20)

16-голосый синтезатор: wavetable-генераторы с антиалиасингом, ADSR, State Variable Filter, LFO, voice stealing, scalar + AVX2, без аллокаций в processBlock

15 скрытых тестов: частота по DFT, огибающая, устойчивость фильтра, совпадение scalar/AVX2, ASan/UBSan

2. Raft KV (Rust)

Кластер из 3 процессов по TCP: выборы, репликация, коммит, редиректы, восстановление, симулятор отказов

18 проверок живого кластера: убийство лидера, догон, partition

3. Legacy Audit (C++)

Проект PLC-200(28 файлов, ~17 тыс. токенов, 37 заложенных дефектов): анализ, классификация, рефакторинг, тесты, отчёт

34 проверки под ASan+UBSan, каждая в отдельном процессе с таймаутом 30 с

Третий тест я сделал самым длинным: к шести штатным этапам (архитектура → поиск дефектов → рефакторинг с исправлениями → свои тесты → отчёт) добавлены этап 7 — новая сессия, где модель получает только файл состояния проекта и должна продолжить работу, и этап 8 — повторный аудит. Параллельно снималась телеметрия работы ноутбука: мощность и температура CPU (LibreHardwareMonitor), мощность, температура, частота и загрузка GPU (nvidia-smi), ОЗУ, VRAM, общая память GPU, файл подкачки, диск. Отдельно — замеры скорости: холодный и тёплый старт, короткие, средние запросы и длинная генерация на 10 500 токенов.

Проблемы методики, с которыми столкнулся

Длинный контекст

Сразу скажу, что даже такие задачи оказались сложноваты. И разбор логов показал, что виноват не только размер моделей (выбирал впритык под железо), но и сам способ испытания: модель тонет в собственной истории контекста. Для результативности пришлось дробить контекст на шаги. Да и есть нюансы с исправлениями — перестал отправлять LLM всю историю контекста при запросе на корректировку. Пришлось часть тестов прогонять заново.

Strata в песочнице и лимит пути 260 символов

Strata ставится одной командой PowerShell в %LOCALAPPDATA%. Но я запускал всё из Claude Desktop, а MSIX-приложения Windows перенаправляют AppDataLocal в свой каталог Packages…LocalCache. Путь вырос настолько, что распаковка исходников llama.cpp (их Strata использует для подготовки модели) упала на MAX_PATH. Лечение — перенести всё в C:Strata и запускать Strata с LOCALAPPDATA=C:. К слову, нужно скачать самой Strata 58 ГБ и модели Qwen3.8-Flash-Next Coder IQ1_M.

Лимит выделения памяти Windows

Со стандартным файлом подкачки (2,5 ГБ) лимит commit был 43,9 ГБ, и Strata сразу предупредила: свободно 0,4 ГБ, сервер может молча упасть с кодом 0xC0000409. Она сама отключила кэш диалогов и чтение промпта силами CPU. После перехода на фиксированные 16 ГБ подкачки (лимит 55,2 ГБ, свободно ~11 ГБ) режимы включились. Но, фактически подкачка почти не использовалась — пик 0,4 ГБ.

Падение движка на длинных промптах

Первый прогон Strata провалился: короткие запросы шли на 42 ток/с, но любой промпт длиннее одного куска чтения (~2 тыс. токенов) ронял движок. У Coder-версии 256 экспертов из 512 исходных, а «послойный» путь чтения промпта для карт с маленьким кэшем экспертов обращался к экспертам с номером 256 и выше. Штатный выключатель STRATA_PREFILL_LAYER_MAJOR=0 решил проблему: промпт в 18 068 токенов читается за 24,6 с (735 ток/с), причём и с CPU-помощью, и без неё. Остальное — по умолчанию.

Windows Smart App Control

Самое коварное. Включённый Smart App Control случайным образом блокировал загрузку официальной libLLVM-…dll у rustc и запуск свежесобранных тестовых .exe (WinError 4551 «Политика управления приложениями заблокировала этот файл»). Модель при этом получала «ошибку сборки», которой не было в её коде. Три прогона (Raft и Legacy у GPT-OSS, Legacy у Qwen) пришлось выбросить и перезапустить, добавив в стенд повтор с паузой и журнал блокировок. Во время перезапусков блокировок больше не было. Мораль: если бенчмарк компилирует и запускает код на Windows 11 — проверяйте журнал Microsoft-Windows-CodeIntegrity/Operational.

Производительность железа

Strata выдаёт 41,0 ток/с на коротких запросах и 39,6 ток/с на длинной генерации — и это модель, которая в 4 раза больше любой из соперниц. Секрет в трёх вещах: эксперты, к которым модель обращается чаще всего, заранее положены в VRAM (около 46 % обращений к экспертам обслуживает GPU), промахи считают 15 потоков CPU, а MTP-драфтер угадывает до 4 токенов вперёд.

Медианная скорость генерации после прогрева на одинаковых контрольных запросахМедианная скорость генерации после прогрева на одинаковых контрольных запросах

Когда модель переписывает уже существующий код (раунды исправлений), угадывание срабатывает чаще, и скорость доходила до 75–83 ток/с.

Время до первого токена: холодный старт включает загрузку модели (у Strata модель уже загружена сервером — старт сервера 35 с)Время до первого токена: холодный старт включает загрузку модели (у Strata модель уже загружена сервером — старт сервера 35 с)

Чтение длинных промптов

Здесь главный разрыв с мини-ПК на Intel Arc, где тот же стенд читал промпт со скоростью ~60 ток/с и тратил 5–6 минут на старт теста 3. На RTX медианы — 1116 ток/с у Strata, 1179 у GPT-OSS, 645 у Qwen3-Coder. Исключение — DeepSeek-Coder-V2-Lite: KV-кэш на 64K контекста у него в Ollama настолько большой (15,5 ГБ всего при 6,4 ГБ весов), что в видеокарту поместилось только 16 из 28 слоёв, и промпт теста 3 на 21 тыс. токенов он читал 610 секунд (34,5 ток/с) — на 10 секунд дольше таймаута стенда.

Скорость обработки промпта в зависимости от его длины (все запросы тестов)Скорость обработки промпта в зависимости от его длины (все запросы тестов)

Входящие и исходящие токены

Legacy Audit у Strata — это почти полмиллиона токенов на входе: восемь этапов, каждый из которых несёт весь проект и историю. Именно на таком объёме проявляется разница в скорости чтения промпта.

Сколько токенов модели прочитали и написали за каждый тестСколько токенов модели прочитали и написали за каждый тест

Модель

Прочитано

Написано

Чистое время генерации

Qwen3.8-Flash-Next Coder IQ1_M (Strata)

548 414

75 331

29 мин

GPT-OSS 20B MXFP4

230 721

67 758

47 мин

Qwen3-Coder-30B-A3B IQ4_NL

357 029

81 612

73 мин

DeepSeek-Coder-V2-Lite Q2_K

34 530

21 890

41 мин

Потребление памяти

Strata держит в ОЗУ 23,4 ГБ экспертов и забирает систему почти целиком — пик 37,1 ГБ из 39,2. На 24-гигабайтной конфигурации ноутбука эта модель не запустилась бы вовсе. Модели Ollama укладываются в 23–31 ГБ с учётом Windows и браузера.

Пиковое потребление ОЗУ всей системой и VRAMПиковое потребление ОЗУ всей системой и VRAM

Диспетчер задач во время работы Strata: занято 36,8 из 39,2 ГБ (94 %).

Загрузка GPU и CPU

Пример загрузки GPT-OSS 20B в Ollama: 5,9 из 8 ГБ VRAM, ещё 5,9 ГБ в общей памяти GPU, загрузка 42 %.

Тот же момент: CPU загружен на 54 % — это все 16 физических ядер на 4,7 ГГц.

Средняя загрузка GPU во время генерации: Strata — 99 %, GPT-OSS — 34 %, Qwen3-Coder — 46 %, DeepSeek — 38 %. Ollama делит MoE-модель так, что внимание считает видеокарта, а эксперты — процессор, и видеокарта большую часть времени ждёт. Strata устроена наоборот: видеокарта остаётся главным вычислителем, а CPU досчитывает промахи кэша экспертов.

Нагрев и потребление

При запуске LLM можно получить одновременный нагрев и CPU, и GPU. Я бы рекомендовал использовать ноутбук на твердой поверхности, не перекрывать нижние воздухозаборники.

Прикладываю данные по средней и максимальной температуры во время генерации.

Средняя и максимальная температура во время генерацииСредняя и максимальная температура во время генерации

И данные по средней мощности потребления во время генерации.

Средняя мощность CPU Package + GPU во время генерацииСредняя мощность CPU Package + GPU во время генерации

CPU во всех режимах сидит работает на максимуме, есть небольшой запас по температуре. Разница в том, куда уходит энергия: у Strata 79 Вт берёт видеокарта и 88 Вт процессор (всего ~167 Вт), у DeepSeek — 114 Вт CPU и только 21 Вт GPU. В пересчёте на токен (средняя мощность / медианная скорость): Qwen3.8-Flash-Next Coder IQ1_M — 4,1 Дж, GPT-OSS 20B MXFP4 — 5,6 Дж, Qwen3-Coder-30B-A3B IQ4_NL — 5,1 Дж, DeepSeek-Coder-V2-Lite Q2_K — 4,1 Дж. Strata и DeepSeek самые экономные, но DeepSeek теряет скорость на длинном контексте. График для Strata.

Qwen3.8-Flash-Next Coder IQ1_M (Strata): температура, мощность и память за весь прогон (заливка — идёт генерация)Qwen3.8-Flash-Next Coder IQ1_M (Strata): температура, мощность и память за весь прогон (заливка — идёт генерация)

График для GPT-OSS 20B.

GPT-OSS 20B MXFP4: температура, мощность и память за весь прогон (заливка — идёт генерация)GPT-OSS 20B MXFP4: температура, мощность и память за весь прогон (заливка — идёт генерация)

График для Qwen3-Coder-30B-A3B.

Qwen3-Coder-30B-A3B IQ4_NL: температура, мощность и память за весь прогон (заливка — идёт генерация)Qwen3-Coder-30B-A3B IQ4_NL: температура, мощность и память за весь прогон (заливка — идёт генерация)

График для DeepSeek-Coder-V2-Lite.

DeepSeek-Coder-V2-Lite Q2_K: температура, мощность и память за весь прогон (заливка — идёт генерация)DeepSeek-Coder-V2-Lite Q2_K: температура, мощность и память за весь прогон (заливка — идёт генерация)

Рейтинг производительности железа

Формула оценки производительности железа: скорость 30 %, время до первого токена 10 %, пиковая память 20 %, стабильность 20 %, эффективность GPU 20 %. Каждая составляющая нормирована на лучшую модель (100 баллов). Память — прирост ОЗУ к простою плюс подкачка (меньше — лучше). Стабильность — доля успешных запросов × (1 − падение скорости) с учётом того, дотянула ли длинная генерация до 10 тыс. токенов. GPU — 50 % доля вычислений на GPU (для Ollama — доля модели в VRAM по ollama ps, для Strata — доля экспертов, посчитанных на GPU, из лога движка; оценка приблизительная) + 50 % средняя загрузка GPU.

Рейтинг производительности железаРейтинг производительности железа

Модель

Скорость

TTFT

Память

Стабильность

GPU

Итог

Qwen3.8-Flash-Next Coder IQ1_M (Strata)

100

46

30

97

72

74,4

GPT-OSS 20B MXFP4

66

32

75

89

36

63,0

Qwen3-Coder-30B-A3B IQ4_NL

75

100

47

93

38

68,0

DeepSeek-Coder-V2-Lite Q2_K

81

100

100

57

37

73,2

DeepSeek на втором месте только за счёт маленького квантования (мало памяти) и быстрого старта — его стабильность на длинном контексте худшая из всех. Strata проигрывает только по памяти и выигрывает всё остальное.

Результаты тестов

Методика оценки результата такая: компилируемость кода 20 %, скрытые тесты 30 %, архитектура 20 % (экспертно), исправление ошибок 15 %, безопасность 10 %, документация 5 %. Компилируемость — среднее по трём шагам.

Рейтинг качества кода по тестам Рейтинг качества кода по тестам

Модель

DSP

Raft

Legacy Audit

Среднее

Strata Coder IQ1_M

17,0

11,6

61,9

30,2

GPT-OSS 20B

11,4

30,0

36,3

25,9

Qwen3-Coder 30B

13,5

15,0

11,2

13,2

DeepSeek-V2-Lite Q2_K

3,0

6,0

Провал на контексте

3,0

Контекст и стоимость

Тесты запускал в два приема (v1 — первый раз все ТЗ одним сообщением, далее весь контекст нарастает при доработках, v2 — уменьшил контекст, разделил задачи, при доработках отправляю часть истории, а не всю переписку). Короткий контекст дешевле по входу, но в итоге делается больше запросов для уточнений: каждый шаг — новый ответ, а каждая группа legacy — свой рефакторинг. Исходящих токенов стало в 1,4–2,2 раза больше (кроме DeepSeek), и время генерации у быстрых моделей выросло. Зато промпт больше не упирается в окно 64K: максимум у Strata — 22,5 тыс. токенов вместо 64,6 тыс. Интересный опыт, особенно можно проследить это по измерениям контекста в Strata.

Входящие токены и чистое время генерации за все три тестаВходящие токены и чистое время генерации за все три теста

Наблюдения о моделях

  • Strata выдумывает пакеты. Даже когда сводка cargo прямо перечисляет доступные фичи, модель вписывает несуществующие (std у bincode, env-log у tracing-subscriber). Похоже на цену квантования IQ1_M: знания о конкретных API «размыты», общая архитектура — нет (её Raft в v2 вырос с 441 до 1 179 строк, с выборами и репликацией).

  • GPT-OSS любит короткий контекст. В v1 он зацикливался в длинной истории и к концу превращал проект в заглушки; в v2 синтезатор — 880 строк с AVX2 и атомарными параметрами, а Raft впервые собрался.

  • DeepSeek-Coder-V2-Lite Q2_K в v2 на шаге A Raft не вернул ни одного файла в нужном формате, по 28 строк кода на весь Raft и снова не дочитал 21-тысячный промпт Legacy за 10 минут. Требует наибольшего внимания при настройке и подготовке ТЗ. Я бы еще рекомендовал параллельно задавать аудит для DeepSeek другой, более легковесной моделью.

Выводы

  • Короткий контекст и поэтапная сборка имеют и плюсы и минусы — можно поймать зацикливание, раздувается количество уточняющих вопросов.

  • Для кода «с нуля» на 8 ГБ VRAM поэтапный режим полезен; для аудита и рефакторинга существующего проекта модели нужен весь проект перед глазами. Это оказалось важным.

Вопрос

Ответ

Лучшая модель по качеству на основе тестов

Strata Coder IQ1_M — 30,2 (на длинном контексте 28,2)

Самый заметный выигрыш от короткого контекста

GPT-OSS 20B: увеличение результативности с 11,0 до 25,9

Кому v2 навредил

Qwen3-Coder 30B: 23,6 → 13,2 (Legacy Audit по группам)

Самый сложный тест Аудит Legacy за всё время тестов

Strata, 21/34 на длинном контексте и 33/34 на коротком контексте

Первая собранная Raft-сборка

GPT-OSS 20B

Итак, вот такой ноутбук RTX 5060 Laptop — это вполне рабочий вариант для локального вайбкодинга. По сути 8 ГБ хватает, чтобы движок (например, Strata) смог удержать горячих экспертов MoE в VRAM. Ollama с частичной выгрузкой оставляет видеокарту недогруженной и упирает всё в CPU, но работает. Если говорить про именно сам код, то для идеала не хватило нескольких шагов (в тесте по 3 шага на исправление, по хорошему, нужно дать модели больше шагов для исправления). Желательно добавить памяти для стоковой конфигурации — Strata Coder IQ1_M во время теста занимала 37 ГБ. Ноутбук вполне справляется с нагрузкой, но для многочасовых сессий я бы посоветовал дополнительно использовать подставку с охлаждением. В любом случае, это достаточно интересный опыт, который показывает, что вполне можно настроить рабочую вайбкодинг-связку для локальной генерации (не только кода — можно и 3D модели генерировать в несколько подходов).

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев