Легкие LLM на CPU, часть 2: какую модель ставить на VPS без видеокарты

В первой части статьи я из любопытства проверил, какие бизнес-задачи могут решать легкие модели на недорогом VPS без видеокарты. В комментариях мне отсыпали критики, и часть ее, как водится, по делу. Так что продолжение отчасти написано в жанре работы над ошибками, и, чтобы понимать, что и почему я переделывал, лучше сначала обратиться к истокам.

Сказать по правде, я и сам хотел кое-что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и т.д. Новый эксперимент я ставил с учетом ошибок и недоделок первой части. Цифры получились точнее и строже, а любопытных фактов, надеюсь, не меньше. На этом перейдем ближе к делу.

TL;DR

  • Для классификации обращений, ответов по базе знаний, кратких резюме документов и прочей текстовой рутины хватает легких моделей и VPS без видеокарты. На сервере с 8 ГБ RAM лучшие модели на 2-4B сортировали обращения за 3-5 сек с точностью около 90%. Ответы по базе знаний и резюме записей занимали 0,5-2,5 мин. Для фоновой обработки это нормально, для чата с клиентами уже нет. Какую модель брать под какую задачу смотрите в таблице в конце статьи.

  • Переход с 4 на 8 ГБ RAM убрал падения по нехватке памяти на длинных текстах и почти весь обмен со swap. Пятый vCPU добавил 20-25% к скорости чтения промпта и около 10% к генерации. Так что под длинные тексты нужен сервер от 8 ГБ, а лишний vCPU дает меньше, чем дополнительная память.

  • На 326 обращениях 9 моделей из 10 показали точность 87-92%, хотя в первом тесте на 20 обращениях семь из них выбили 100%. Отсюда правило: модель нужно проверять на сотнях своих примеров. Разница между лидерами в 2-3 пункта в пределах статпогрешности, поэтому выбирать стоит по скорости и памяти.

  • Время ответа сильно зависит от структуры промпта. Если все запросы начинаются с одной инструкции, модель кэширует ее и читает только переменную часть. В противном случае инструкцию приходится читать каждый раз заново. С кэшем QVikhr-3-4B классифицировала обращение за 3,8 сек, а без за 12,4 сек. Для большинства моделей эта разница в 2-3 раза. Общую инструкцию стоит ставить в начало промпта, а текст обращения в конец. Это заметно ускоряет работу.

  • Модели на 8-10B не обогнали лучшие 4B, а работали даже медленнее. Исключение по скорости – GigaChat 3.1 Lightning с архитектурой MoE. На CPU разумнее брать модель на 2-4B (если нужна российская – GigaChat 3.1 Lightning).

  • На сервере с 8 ГБ кэш промптов в Ollama по умолчанию может занять всю память: у qwen3.5:4b это приводило к сбоям. Ограничение через переменную окружения убрало и сбои, и swap. Поэтому на сервере с 8 ГБ лучше сразу добавить LLAMA_ARG_CACHE_RAM=1024 в настройки Ollama.

  • Decision-модель d1-2B по точности оказалась на уровне генеративных, но давала честную вероятность. При пороге 0,9 она взяла бы на себя 69% обращений с точностью 97%, а остальные отдала человеку. Для службы поддержки, где ошибка дороже лишней ручной проверки, это хороший вариант.

Стенд и модели

Тот же, что и в первой части, VPS на JustHost с шаблоном Ollama, переведенный на 5 vCPU (Intel Xeon Gold 6148) и 8 ГБ RAM, swap 4 ГБ. Стек также без изменений: Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри нее llama.cpp сборки 161755f29.

Настройки Ollama я оставил как в шаблоне: в памяти одна модель, запросы к ней обрабатываются по одному, число потоков по умолчанию равно числу ядер. Изменил только время, на которое модель остается в памяти, с 5 до 30 мин. Open WebUI на время замеров был остановлен, посторонней нагрузки не было. Steal я записывал раз в секунду: за 41 час работы под нагрузкой в среднем 0,2%, в 99% секунд не выше 1%, разовый пик 6,4%. Для виртуалки это хороший показатель: соседи по хосту на замеры практически не влияли.

К моделям-лидерам первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) я добавил пять моделей покрупнее, все с Hugging Face в той же квантизации Q4_K_M.

Модель

Размер

Файл

Особенности

GigaChat 3.1 Lightning

10B

6,5 ГБ

MoE: на каждый токен работает 1,8B параметров

T-lite-it-2.1

8B

5,0 ГБ

В основе Qwen3, дообучена на русском

YandexGPT-5-Lite-8B-instruct

8B

4,9 ГБ

Официальная сборка Яндекса

Qwen3-8B

8B

5,0 ГБ

Рассуждение выключено

GLM-4-9B-0414

9B

6,2 ГБ

Самая тяжелая из плотных

По совету из комментариев к первой статье под задачи классификации я добавил еще и decision-модель d1-2B от Liquid AI (1,9B, Q8_0). Она не генерирует текст, а за один проход возвращает вероятность каждого варианта. d1-2B построена на новой архитектуре LFM3, и под нее пришлось поднять отдельную Ollama 0.40.15. В ходе тестов потребовалась дополнительная настройка. По умолчанию модель читала за проход не больше 512 токенов, и длинное обращение в 946 токенов возвращало ошибку. Помог num_batch 2048 в Modelfile.

Бизнес-сценарии остались те же, что в первой части: классификация обращений, тональность отзывов, извлечение данных из заявки, суммаризация, объявления для Яндекс Директа, нормализация данных CRM и ответы по базе знаний. К ним добавилась большая выборка для классификации (о ней ниже).

Протокол, повторы и проверка разметки

В комментариях к первой части хабровчане указали на слабые места эксперимента: не было повторных прогонов, замеров steal и замеров без кэша, выборки были маленькими. Во второй части я это исправил.

  • Один протокол для всех моделей. Общий промпт и JSON-схема ответа, temperature 0, seed 42, режим рассуждения выключен, в памяти одна модель. Перед замером я прогревал модель посторонним запросом, а затем отправлял примеры по одному.

  • С кэшем и без. Если системный промпт у всех запросов общий, llama.cpp может взять уже прочитанную часть из кэша. Для классификации это обычная ситуация, но на скорость она влияет сильно. В статье о системе SGLang нашел, что при переиспользовании кэша обрабатывалось в 6 раз больше запросов. Поэтому время я мерил в двух режимах: с общим промптом и с уникальной меткой в самом начале промпта, при которой кэш не срабатывал.

  • Повторы. Классификацию на 326 обращениях я прогнал дважды. Все 10 моделей дали те же ответы во всех 326 случаях, медиана времени отличалась на 0-5%. Нагрузочный тест я тоже повторил дважды: расхождение в пределах 10%, кроме qwen3.5:2b (но об этом отдельно).

  • Время. Время на запрос – от отправки до полного ответа, в таблицах медиана. В нагрузочном тесте я дополнительно записывал время до первого токена и 95-й перцентиль.

  • Нагрузка. Один, два или четыре клиента шлют запросы друг за другом без пауз. Каждый уровень длится не меньше 5 мин и 40 запросов, для длинных запросов – 10 мин и 16 запросов. Пропускная способность – число завершенных запросов в час.

  • Статистика. Для точности я считал 95%-е интервалы Уилсона. Модели сравнивал парным тестом McNemar: все они отвечали на одни и те же обращения, и такое сравнение точнее, чем сопоставление интервалов. Так советует делать Anthropic в статье Adding Error Bars to Evals.

  • Разметка. Эталон для 326 обращений сделали модели. Я взял 50 случайных обращений, вслепую разметил их и сравнил с эталоном: совпало 45 из 50.

  • Данные и код. Датасеты, скрипты и сырые ответы всех моделей лежат в репозитории: github.com/alvec7/llm-cpu-bench.

Память важнее процессора

На 8 ГБ RAM я заново прогнал лидеров первой части на трех сценариях: классификации, резюме и ответах по базе знаний. Точность почти не изменилась (в пределах одного вопроса), зато сильно изменилось поведение сервера на длинных текстах. На 4 ГБ оперативы модель на 4B вместе с длинным контекстом не помещалась в память и гоняла данные через swap. На 8 ГБ RAM обмен со swap у большинства моделей почти прекратился:

Модель

Задача

Время, 4 ГБ → 8 ГБ

Обмен со swap, 4 ГБ → 8 ГБ

QVikhr-3-4B

Ответ по базе знаний

94 → 73 сек

9,1 ГБ → 43 МБ

qwen3.5:4b

Ответ по базе знаний

69 → 56 сек

4,9 ГБ → 11 МБ

QVikhr-3-4B

Резюме документа

181 → 158 сек

2,7 ГБ → 9 МБ

gemma3:4b

Резюме документа

82 → 73 сек

2,7 ГБ → 5 МБ

gemma3:4b

Ответ по базе знаний

Падала → 51 сек

Падала → 2,0 ГБ

Время ответа и объем обмена со swap на 4 ГБ и 8 ГБ RAM.

У gemma3:4b на 4 ГБ сценарий с базой знаний не доходил до конца: система завершала процесс по нехватке памяти. На 8 ГБ она ответила верно на 14 вопросов из 15, но все равно записала в swap около 2 ГБ.

Замеры на 4 и 8 ГБ я делал в разные дни. Вместе с памятью на сервере добавился пятый vCPU, поэтому скорость напрямую сравнивать нельзя. Вклад процессора я измерил отдельно: на том же VPS ограничивал Ollama от одного до пяти потоков и гонял одинаковый запрос на 1000 токенов, по три раза на каждое значение. 

Потоки

QVikhr-3-4B

qwen3.5:4b

1

7,8 / 1,7

7,9 / 2,1

2

15,1 / 3,0

15,4 / 3,6

3

21,7 / 4,1

22,1 / 4,8

4

29,3 / 5,2

28,4 / 5,9

5

35,4 / 5,7

35,6 / 6,5

Скорость чтения промпта и генерации в зависимости от числа потоков, ток/сек.

Скорость чтения промпта росла почти пропорционально числу потоков, и на пяти насыщения не было. Пятый поток добавил 20-25% к чтению промпта и около 10% к генерации. Скорость генерации увеличивалась медленнее, потому что упиралась еще и в пропускную способность памяти. Для LLM это типичное узкое место, см. обзор LLM Inference Unveiled.

Нагрузочный тест в первой части состоял всего из 12 коротких и 8 длинных запросов на уровень нагрузки. Теперь их стало не менее 40 и 16 соответственно.

Короткие запросы я прогнал дважды. В таблице зафиксированы средние двух прогонов или оба значения через дефис, если они разошлись. p50 – обычное ожидание ответа, p95 – дольше этого ждали только 5% запросов.

Модель

Кэш

Запросов в час: 1 / 2 / 4 клиента

Ожидание при 4 клиентах, p50 / p95

Сбои

QVikhr-3-4B

Общий промпт

~990 / ~870 / ~840

17 / 19-20 сек

Нет

Без кэша

~295 / ~290 / ~300

47 / 49-53 сек

Нет

GigaChat 3.1 Lightning

Общий промпт

~820 / ~790 / ~760

19 / 20-21 сек

Нет

Без кэша

~305 / ~325 / ~310

46 / 50-51 сек

Нет

qwen3.5:2b

Общий промпт

от 560 до 1540

10 / 11-28 сек

Нет

Без кэша

~520 / ~520 / ~520

27-28 / 29-30 сек

Нет

qwen3.5:4b

Общий промпт

~345 / ~330 / ~360

41-42 / 43-44 сек

Нет

Без кэша

~315 / ~320 / ~305

45-47 / 48-50 сек

6 из ~250

Результаты для коротких запросов на классификацию обращений: около 350 токенов на входе и 7-8 на выходе.

Что видно:

  • С общим промптом QVikhr и GigaChat обрабатывали 750-1000 коротких запросов в час, без кэша – около 300. Кэш у них срабатывал с первого запроса и работал стабильно.

  • У гибридных qwen3.5 кэш вел себя непредсказуемо. qwen3.5:2b первые 116 запросов читала системный промпт заново (около 6,4 сек на запрос), а потом начала брать его из кэша (2,2 сек). Отсюда разброс от 560 до 1540 запросов в час. qwen3.5:4b в нагрузочном тесте так и не начала брать промпт из кэша, хотя в последовательном прогоне на 326 обращениях это делала. Это известная особенность гибридных моделей: кэш у них срабатывает только при точном совпадении префикса и состоит из крупных записей (Marconi, 2024).

  • Когда на сервер одновременно приходило два или четыре запроса, за час он успевал обработать не больше, чем когда запросы приходили по одному. Ollama обрабатывает запросы к модели последовательно, в порядке очереди, поэтому при четырех клиентах каждый ждет примерно вчетверо дольше.

  • Время до первого токена почти равнялось полному: ответ короткий, и большая часть времени уходила на чтение промпта.

Второй нагрузочный тест я провел на длинных запросах – ответах по базе знаний, около 2500 токенов на входе. Здесь кэш почти не влияет, поэтому один режим и один прогон:

Модель

Запросов в час: 1 / 4 клиента

Ожидание при 4 клиентах, p50

Сбои

qwen3.5:2b

104 / 105

2,2 мин

Нет

qwen3.5:4b

64 / 62

3,7 мин

Нет

GigaChat 3.1 Lightning

56 / 55

4,2 мин

Нет

QVikhr-3-4B

48 / 48

4,9 мин

Нет

Результаты для длинных запросов: ответы по базе знаний, около 2500 токенов на входе.

Сбоев на длинных запросах не было, но при четырех клиентах память доходила до 7,7 ГБ, и сервер снова писал в swap (QVikhr до 5,9 ГБ за уровень). Причину я в итоге нашел, об этом ниже.

На двадцати примерах точность не оценить

В первой части в тесте на классификацию четыре модели верно определили категорию у всех 20 обращений. Но на такой выборке это означало лишь, что реальная точность с 95%-й уверенностью не ниже 84%. Чтобы узнать точнее, был нужен датасет с сотнями примеров.

Генерация датасета. Настоящие обращения клиентов могут содержать персональные и другие чувствительные данные. Поэтому я сгенерировал 327 обращений с помощью большой модели DeepSeek V4.1 Flash: шесть категорий, три уровня сложности и шесть стилей – от коротких сообщений в чате с опечатками до расшифровок голосовых. В сложных обращениях были смешаны две темы, например жалоба на курьера и вопрос о сроках доставки.

Разметка датасета. Определенную при генерации категорию я перепроверял двумя другими большими моделями, DeepSeek V4 Pro и MiMo V2.6 Pro, с тем же промптом, что и у тестируемых. За эталон брал ту категорию, с которой согласились хотя бы две модели из трех. В 297 случаях решения генерирующей и проверяющих моделей совпали. 29 обращений получили другую категорию. Одно я выбросил, так как три модели назвали каждая свою категорию. В итоге в выборке осталось 326 обращений.

Чтобы проверить, можно ли доверять эталону от моделей, я взял 50 случайных обращений и разметил их вслепую сам. С эталоном я совпал в 45 случаях из 50 (90%, интервал 79-96%). Даже с поправкой на случайные совпадения согласие почти полное: каппа Коэна составила 0,88. Это согласуется с исследованием Цюрихского университета: там ChatGPT в четырех задачах из пяти размечал тексты точнее исполнителей с краудсорсинговой платформы. Все пять расхождений пришлись на обращения, где можно защитить обе категории. Например, бракованный пылесос и грубый оператор поддержки в одном флаконе – это возврат или жалоба? Судите сами.

Модель

20 обращений

326 обращений

95%-й интервал

Время, общий промпт

Время, без кэша

GLM-4-9B

95%

92,0%

88,6-94,5%

7,6 сек

24,0 сек

qwen3.5:4b

100%

91,4%

87,9-94,0%

4,5 сек

11,0 сек

QVikhr-3-4B

100%

89,9%

86,1-92,7%

3,8 сек

12,4 сек

qwen3.5:2b

100%

89,6%

85,8-92,4%

2,9 сек

6,8 сек

T-lite-it-2.1

100%

89,0%

85,1-91,9%

5,7 сек

16,4 сек

granite4:micro-h

–

88,0%

84,1-91,1%

10,9 сек

13,7 сек

Qwen3-8B

100%

87,7%

83,7-90,9%

6,9 сек

21,9 сек

gemma3:4b

100%

87,4%

83,4-90,6%

8,8 сек

9,4 сек

d1-2B (decision-модель)

–

87,1%

83,0-90,3%

6,6 сек

6,6 сек

GigaChat 3.1 Lightning

100%

86,8%

82,7-90,1%

4,5 сек

11,0 сек

YandexGPT-5-Lite-8B

75%

72,1%

67,0-76,7%

6,2 сек

5,3 сек

Точность и время ответа при классификации на 20 и 326 обращениях.

В столбцах со временем приводится медианное время ответа: половину обращений модель обработала быстрее, половину медленнее. С общим промптом я мерил его на всех 326 обращениях, без кэша на 50 случайных. У d1-2B в обоих столбцах результат по всем 326 обращениям, кэш на нее не влияет.

Что тут интересного:

  • «20 из 20» ничего не гарантирует. Все семь моделей с идеальным результатом на малой выборке на большой ошибались примерно в одном обращении из десяти.

  • Лидеров нельзя разделить. Я сравнил модели первой пятерки попарно на одних и тех же обращениях: ни одна пара не различается статистически значимо. Значит, выбирать модель стоит по скорости и памяти.

  • У большинства моделей кэш ускоряет ответ в 2-3 раза. QVikhr с общим промптом отвечала за 3,8 сек, а без кэша втрое медленнее – за 12,4 сек. qwen3.5:2b без кэша замедлилась вдвое, с 2,9 до 6,8 сек. Исключения – gemma3, granite и YandexGPT: у них кэш почти ничего не дал.

  • Размер модели не имеет значения. Лучшая модель на 9B обогнала лучшую на 4B меньше чем на пункт, а все три модели на 8B оказались в рейтинге ниже лидеров на 4B.

d1-2B я проверил на тех же 326 обращениях и с теми же описаниями категорий, что и генеративные модели. Результат – 284 правильных ответа из 326 при 6,6 сек на обращение. По точности это уровень GigaChat и gemma3, статистически значимо d1-2B уступила только GLM-4-9B и qwen3.5:4b.

Главное отличие d1-2B от LLM – она возвращает вероятность ответа. И ей можно верить: в 151 ответе с вероятностью от 0,97 не было ни одной ошибки. Если отправлять человеку все, где вероятность ниже 0,9, модель сама закрывает 69% обращений с точностью 97,3%, а оставшийся 31% уходит на ручную проверку. Для саппорта, где ошибка дороже лишней проверки руками, это сильный аргумент.

Модели на 8-10B не оправдали ожиданий

С 8 ГБ в память поместились модели, которые в первой части в нее не укладывались, в том числе три российские. На короткой классификации они сравнялись с 4B (см. таблицу выше). На длинных задачах картина такая:

Модель

Ответы по базе знаний

Время на вопрос

Резюме: фактов из 32

Время на документ

T-lite-it-2.1

15 из 15

88 сек

27

172 сек

Qwen3-8B

15 из 15

120 сек

20

195 сек

GigaChat 3.1 Lightning

14 из 15

63 сек

22

110 сек

GLM-4-9B

14 из 15

117 сек

19

197 сек

YandexGPT-5-Lite-8B

14 из 15

82 сек

19

194 сек

Для сравнения: qwen3.5:4b

14 из 15

56 сек

28

90 сек

Для сравнения: qwen3.5:2b

14 из 15

34 сек

20

50 сек

Ответы по базе знаний и резюме документов моделями на 8-10B в сравнении с qwen3.5.

На базе знаний почти все справились одинаково. В резюме лучше других была T-lite, она показала эффективность на уровне qwen3.5:4b. При этом в большинстве модели на 8-9B отвечали в 1,5-2 раза дольше qwen3.5:4b, а преимуществ в качестве ни одна из них не дала. Выборки были маленькие, поэтому результаты статистически не различаются. Перевес T-lite в фактах следует назвать тенденцией, а не доказанным преимуществом.

GigaChat 3.1 Lightning стала самой быстрой из больших моделей. У нее 10B параметров, но на каждый токен работает только 1,8B (архитектура MoE). Поэтому она генерировала 8,7 ток/с, а плотные 8B-модели – около 5 ток/с. Все параметры при этом лежат в памяти, так что по объему она самая тяжелая: 6,5 ГБ. Тот же принцип у Mixtral 8x7B от Mistral: из 47B параметров на каждый токен работают 13B.

Под нагрузкой GigaChat прошла тот же тест, что и 4B-модели (таблицы в разделе про нагрузку). На коротких запросах с общим промптом она была на 10-20% медленнее QVikhr, а на длинных оказалась быстрее: 56 запросов в час против 48. GLM-4-9B я прогнал только в предварительном тесте по старой схеме, один раз: там она обработала 590-635 коротких запросов в час против 1062 у GigaChat, то есть почти вдвое меньше.

Падений не было, но модели на 5-7 ГБ занимали почти все 8 ГБ оперативы. На длинных запросах пик памяти доходил до 7,7 ГБ, и сервер снова начинал писать в swap.

YandexGPT-5-Lite-8B оказалась слабее остальных: 72% на большой выборке классификации, почти на 15 пунктов ниже ближайшей модели. JSON она при этом возвращала правильный, так что дело не в формате ответа.

Слабые стороны эксперимента и ограничения выводов

  1. Обращения синтетические, эталон тоже делали модели. 326 обращений сгенерировала большая модель, эталон – большинство из трех голосов. Моя ручная разметка 50 случайных обращений совпала с эталоном в 45 случаях, но похожие на разметчиков модели могли получить небольшую фору. На живых обращениях точность будет другой.

  2. Один сервер. Все цифры сняты на одном VPS с Xeon Gold 6148 и AVX-512. Steal был низким, но на другом хосте или на процессоре без AVX-512 скорость может заметно отличаться.

  3. Маленькие выборки на длинных задачах. На базе знаний 15 вопросов, в резюме 32 факта: здесь видны только крупные различия.

  4. Кэш промптов в Ollama может занять всю память. Внутри Ollama 0.35 работает llama.cpp с кэшем промптов в оперативной памяти, по умолчанию до 8 ГБ. У qwen3.5:4b каждый сохраненный промпт занимал около 43 МБ, и на 8-гигабайтном сервере кэш постепенно вытеснял все остальное. Отсюда шесть сбоев qwen3.5:4b в нагрузочном тесте и swap на длинных запросах. Помогает переменная окружения LLAMA_ARG_CACHE_RAM в docker-compose. В документации Ollama ее нет, это параметр самого llama.cpp:

    services: ollama: environment: LLAMA_ARG_CACHE_RAM: "1024"

    С лимитом в 1 ГБ я повторил нагрузочный тест qwen3.5:4b без кэша: сбоев не было, пик памяти 5,0 ГБ вместо 7,7, обмена со swap почти не наблюдалось. Цифры в таблицах сняты с настройками по умолчанию.

  5. Кэш гибридных моделей непредсказуем. У qwen3.5 время с общим промптом зависит от того, сработает ли кэш, а это заранее не угадать. Для них надежнее ориентироваться на цифры без кэша.

  6. Модели на 8-10B занимают почти всю память. Файлы на 4,9-6,5 ГБ оставляют на 8-гигабайтном сервере около гигабайта на контекст и систему. На длинных запросах T-lite и Qwen3-8B снова уходили в swap (2,4 и 3,5 ГБ обмена за прогон). Для таких моделей 8 ГБ – необходимый минимум, а не запас.

Что в итоге брать под задачу

Задача

Модель

Почему

Классификация обращений, один промпт на все запросы

QVikhr-3-4B

89,9%, 3,8 сек на обращение, ~990 запросов в час, кэш работает стабильно

Классификация обращений, у каждого запроса свой промпт

qwen3.5:2b

89,6%, 6,8 сек без кэша, ~520 запросов в час

Классификация обращений на российской модели

GigaChat 3.1 Lightning

86,8%, 4,5 сек, ~820 запросов в час

Классификация обращений, сомнительные случаи проверяет человек

d1-2B

87,1% в целом, 6,6 сек; при пороге 0,9 сама решает 69% обращений с точностью 97,3%

Ответы по базе знаний

qwen3.5:2b

34 сек на ответ, ~105 ответов в час под нагрузкой

Резюме документов

qwen3.5:4b или T-lite-it-2.1

Больше всего фактов, 1,5-3 мин на документ

Какую модель брать под задачу на VPS с 8 ГБ RAM без видеокарты.

Для текстовой рутины хватает модели на 2-4B и 8 ГБ памяти. Две вещи важнее выбора модели: общий системный промпт в начале запроса, который ускоряет ответ в 2-3 раза, и ограничение кэша промптов в Ollama – без него на сервере с 8 ГБ кэш со временем занимает всю память и модель начинает сбоить.

Для моделей на 2-4B с длинными текстами 8 ГБ RAM – разумный минимум. На 4 ГБ они падали и не вылезали из swap. На сервере рекомендую сразу ограничить кэш промптов через LLAMA_ARG_CACHE_RAM. Модели на 8-10B на таком VPS запустить можно, но в моих тестах они не дали выигрыша по качеству и работали медленнее. Если выбирать между лишним vCPU и лишней памятью, берите память: пятый vCPU ускорил работу лишь на 10-25%.

На что ссылаюсь в тексте

  1. Zheng и др., 2023. SGLang: Efficient Execution of Structured Language Model Programs – переиспользование кэша общего префикса.

  2. Miller, Anthropic, 2024. Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations – интервалы и парные сравнения моделей.

  3. Yuan и др., 2024. LLM Inference Unveiled: Survey and Roofline Model Insights – пропускная способность памяти как узкое место генерации.

  4. Pan и др., 2024. Marconi: Prefix Caching for the Era of Hybrid LLMs – кэш промптов у гибридных моделей.

  5. Gilardi, Alizadeh, Kubli, 2023. ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks – разметка текстов моделью и людьми.

  6. Jiang и др., Mistral AI, 2024. Mixtral of Experts – архитектура MoE.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев