В первой части статьи я из любопытства проверил, какие бизнес-задачи могут решать легкие модели на недорогом VPS без видеокарты. В комментариях мне отсыпали критики, и часть ее, как водится, по делу. Так что продолжение отчасти написано в жанре работы над ошибками, и, чтобы понимать, что и почему я переделывал, лучше сначала обратиться к истокам.
Сказать по правде, я и сам хотел кое-что довести до ума: повторить тесты на сервере с 8 ГБ RAM, проверить российские модели покрупнее и т.д. Новый эксперимент я ставил с учетом ошибок и недоделок первой части. Цифры получились точнее и строже, а любопытных фактов, надеюсь, не меньше. На этом перейдем ближе к делу.

TL;DR
-
Для классификации обращений, ответов по базе знаний, кратких резюме документов и прочей текстовой рутины хватает легких моделей и VPS без видеокарты. На сервере с 8 ГБ RAM лучшие модели на 2-4B сортировали обращения за 3-5 сек с точностью около 90%. Ответы по базе знаний и резюме записей занимали 0,5-2,5 мин. Для фоновой обработки это нормально, для чата с клиентами уже нет. Какую модель брать под какую задачу смотрите в таблице в конце статьи.
-
Переход с 4 на 8 ГБ RAM убрал падения по нехватке памяти на длинных текстах и почти весь обмен со swap. Пятый vCPU добавил 20-25% к скорости чтения промпта и около 10% к генерации. Так что под длинные тексты нужен сервер от 8 ГБ, а лишний vCPU дает меньше, чем дополнительная память.
-
На 326 обращениях 9 моделей из 10 показали точность 87-92%, хотя в первом тесте на 20 обращениях семь из них выбили 100%. Отсюда правило: модель нужно проверять на сотнях своих примеров. Разница между лидерами в 2-3 пункта в пределах статпогрешности, поэтому выбирать стоит по скорости и памяти.
-
Время ответа сильно зависит от структуры промпта. Если все запросы начинаются с одной инструкции, модель кэширует ее и читает только переменную часть. В противном случае инструкцию приходится читать каждый раз заново. С кэшем QVikhr-3-4B классифицировала обращение за 3,8 сек, а без за 12,4 сек. Для большинства моделей эта разница в 2-3 раза. Общую инструкцию стоит ставить в начало промпта, а текст обращения в конец. Это заметно ускоряет работу.
-
Модели на 8-10B не обогнали лучшие 4B, а работали даже медленнее. Исключение по скорости – GigaChat 3.1 Lightning с архитектурой MoE. На CPU разумнее брать модель на 2-4B (если нужна российская – GigaChat 3.1 Lightning).
-
На сервере с 8 ГБ кэш промптов в Ollama по умолчанию может занять всю память: у qwen3.5:4b это приводило к сбоям. Ограничение через переменную окружения убрало и сбои, и swap. Поэтому на сервере с 8 ГБ лучше сразу добавить
LLAMA_ARG_CACHE_RAM=1024в настройки Ollama. -
Decision-модель d1-2B по точности оказалась на уровне генеративных, но давала честную вероятность. При пороге 0,9 она взяла бы на себя 69% обращений с точностью 97%, а остальные отдала человеку. Для службы поддержки, где ошибка дороже лишней ручной проверки, это хороший вариант.
Стенд и модели
Тот же, что и в первой части, VPS на JustHost с шаблоном Ollama, переведенный на 5 vCPU (Intel Xeon Gold 6148) и 8 ГБ RAM, swap 4 ГБ. Стек также без изменений: Ubuntu 24.04, Ollama 0.35.0 в Docker, внутри нее llama.cpp сборки 161755f29.
Настройки Ollama я оставил как в шаблоне: в памяти одна модель, запросы к ней обрабатываются по одному, число потоков по умолчанию равно числу ядер. Изменил только время, на которое модель остается в памяти, с 5 до 30 мин. Open WebUI на время замеров был остановлен, посторонней нагрузки не было. Steal я записывал раз в секунду: за 41 час работы под нагрузкой в среднем 0,2%, в 99% секунд не выше 1%, разовый пик 6,4%. Для виртуалки это хороший показатель: соседи по хосту на замеры практически не влияли.
К моделям-лидерам первой части (QVikhr-3-4B, qwen3.5:2b и 4b, gemma3:4b, granite4:micro-h) я добавил пять моделей покрупнее, все с Hugging Face в той же квантизации Q4_K_M.
Модель
Размер
Файл
Особенности
GigaChat 3.1 Lightning
10B
6,5 ГБ
MoE: на каждый токен работает 1,8B параметров
T-lite-it-2.1
8B
5,0 ГБ
В основе Qwen3, дообучена на русском
YandexGPT-5-Lite-8B-instruct
8B
4,9 ГБ
Официальная сборка Яндекса
Qwen3-8B
8B
5,0 ГБ
Рассуждение выключено
GLM-4-9B-0414
9B
6,2 ГБ
Самая тяжелая из плотных
По совету из комментариев к первой статье под задачи классификации я добавил еще и decision-модель d1-2B от Liquid AI (1,9B, Q8_0). Она не генерирует текст, а за один проход возвращает вероятность каждого варианта. d1-2B построена на новой архитектуре LFM3, и под нее пришлось поднять отдельную Ollama 0.40.15. В ходе тестов потребовалась дополнительная настройка. По умолчанию модель читала за проход не больше 512 токенов, и длинное обращение в 946 токенов возвращало ошибку. Помог num_batch 2048 в Modelfile.
Бизнес-сценарии остались те же, что в первой части: классификация обращений, тональность отзывов, извлечение данных из заявки, суммаризация, объявления для Яндекс Директа, нормализация данных CRM и ответы по базе знаний. К ним добавилась большая выборка для классификации (о ней ниже).
Протокол, повторы и проверка разметки
В комментариях к первой части хабровчане указали на слабые места эксперимента: не было повторных прогонов, замеров steal и замеров без кэша, выборки были маленькими. Во второй части я это исправил.
-
Один протокол для всех моделей. Общий промпт и JSON-схема ответа,
temperature 0,seed 42, режим рассуждения выключен, в памяти одна модель. Перед замером я прогревал модель посторонним запросом, а затем отправлял примеры по одному. -
С кэшем и без. Если системный промпт у всех запросов общий, llama.cpp может взять уже прочитанную часть из кэша. Для классификации это обычная ситуация, но на скорость она влияет сильно. В статье о системе SGLang нашел, что при переиспользовании кэша обрабатывалось в 6 раз больше запросов. Поэтому время я мерил в двух режимах: с общим промптом и с уникальной меткой в самом начале промпта, при которой кэш не срабатывал.
-
Повторы. Классификацию на 326 обращениях я прогнал дважды. Все 10 моделей дали те же ответы во всех 326 случаях, медиана времени отличалась на 0-5%. Нагрузочный тест я тоже повторил дважды: расхождение в пределах 10%, кроме qwen3.5:2b (но об этом отдельно).
-
Время. Время на запрос – от отправки до полного ответа, в таблицах медиана. В нагрузочном тесте я дополнительно записывал время до первого токена и 95-й перцентиль.
-
Нагрузка. Один, два или четыре клиента шлют запросы друг за другом без пауз. Каждый уровень длится не меньше 5 мин и 40 запросов, для длинных запросов – 10 мин и 16 запросов. Пропускная способность – число завершенных запросов в час.
-
Статистика. Для точности я считал 95%-е интервалы Уилсона. Модели сравнивал парным тестом McNemar: все они отвечали на одни и те же обращения, и такое сравнение точнее, чем сопоставление интервалов. Так советует делать Anthropic в статье Adding Error Bars to Evals.
-
Разметка. Эталон для 326 обращений сделали модели. Я взял 50 случайных обращений, вслепую разметил их и сравнил с эталоном: совпало 45 из 50.
-
Данные и код. Датасеты, скрипты и сырые ответы всех моделей лежат в репозитории: github.com/alvec7/llm-cpu-bench.
Память важнее процессора
На 8 ГБ RAM я заново прогнал лидеров первой части на трех сценариях: классификации, резюме и ответах по базе знаний. Точность почти не изменилась (в пределах одного вопроса), зато сильно изменилось поведение сервера на длинных текстах. На 4 ГБ оперативы модель на 4B вместе с длинным контекстом не помещалась в память и гоняла данные через swap. На 8 ГБ RAM обмен со swap у большинства моделей почти прекратился:
Модель
Задача
Время, 4 ГБ → 8 ГБ
Обмен со swap, 4 ГБ → 8 ГБ
QVikhr-3-4B
Ответ по базе знаний
94 → 73 сек
9,1 ГБ → 43 МБ
qwen3.5:4b
Ответ по базе знаний
69 → 56 сек
4,9 ГБ → 11 МБ
QVikhr-3-4B
Резюме документа
181 → 158 сек
2,7 ГБ → 9 МБ
gemma3:4b
Резюме документа
82 → 73 сек
2,7 ГБ → 5 МБ
gemma3:4b
Ответ по базе знаний
Падала → 51 сек
Падала → 2,0 ГБ
Время ответа и объем обмена со swap на 4 ГБ и 8 ГБ RAM.
У gemma3:4b на 4 ГБ сценарий с базой знаний не доходил до конца: система завершала процесс по нехватке памяти. На 8 ГБ она ответила верно на 14 вопросов из 15, но все равно записала в swap около 2 ГБ.
Замеры на 4 и 8 ГБ я делал в разные дни. Вместе с памятью на сервере добавился пятый vCPU, поэтому скорость напрямую сравнивать нельзя. Вклад процессора я измерил отдельно: на том же VPS ограничивал Ollama от одного до пяти потоков и гонял одинаковый запрос на 1000 токенов, по три раза на каждое значение.
Потоки
QVikhr-3-4B
qwen3.5:4b
1
7,8 / 1,7
7,9 / 2,1
2
15,1 / 3,0
15,4 / 3,6
3
21,7 / 4,1
22,1 / 4,8
4
29,3 / 5,2
28,4 / 5,9
5
35,4 / 5,7
35,6 / 6,5
Скорость чтения промпта и генерации в зависимости от числа потоков, ток/сек.
Скорость чтения промпта росла почти пропорционально числу потоков, и на пяти насыщения не было. Пятый поток добавил 20-25% к чтению промпта и около 10% к генерации. Скорость генерации увеличивалась медленнее, потому что упиралась еще и в пропускную способность памяти. Для LLM это типичное узкое место, см. обзор LLM Inference Unveiled.
Нагрузочный тест в первой части состоял всего из 12 коротких и 8 длинных запросов на уровень нагрузки. Теперь их стало не менее 40 и 16 соответственно.
Короткие запросы я прогнал дважды. В таблице зафиксированы средние двух прогонов или оба значения через дефис, если они разошлись. p50 – обычное ожидание ответа, p95 – дольше этого ждали только 5% запросов.
Модель
Кэш
Запросов в час: 1 / 2 / 4 клиента
Ожидание при 4 клиентах, p50 / p95
Сбои
QVikhr-3-4B
Общий промпт
~990 / ~870 / ~840
17 / 19-20 сек
Нет
Без кэша
~295 / ~290 / ~300
47 / 49-53 сек
Нет
GigaChat 3.1 Lightning
Общий промпт
~820 / ~790 / ~760
19 / 20-21 сек
Нет
Без кэша
~305 / ~325 / ~310
46 / 50-51 сек
Нет
qwen3.5:2b
Общий промпт
от 560 до 1540
10 / 11-28 сек
Нет
Без кэша
~520 / ~520 / ~520
27-28 / 29-30 сек
Нет
qwen3.5:4b
Общий промпт
~345 / ~330 / ~360
41-42 / 43-44 сек
Нет
Без кэша
~315 / ~320 / ~305
45-47 / 48-50 сек
6 из ~250
Результаты для коротких запросов на классификацию обращений: около 350 токенов на входе и 7-8 на выходе.
Что видно:
-
С общим промптом QVikhr и GigaChat обрабатывали 750-1000 коротких запросов в час, без кэша – около 300. Кэш у них срабатывал с первого запроса и работал стабильно.
-
У гибридных qwen3.5 кэш вел себя непредсказуемо. qwen3.5:2b первые 116 запросов читала системный промпт заново (около 6,4 сек на запрос), а потом начала брать его из кэша (2,2 сек). Отсюда разброс от 560 до 1540 запросов в час. qwen3.5:4b в нагрузочном тесте так и не начала брать промпт из кэша, хотя в последовательном прогоне на 326 обращениях это делала. Это известная особенность гибридных моделей: кэш у них срабатывает только при точном совпадении префикса и состоит из крупных записей (Marconi, 2024).
-
Когда на сервер одновременно приходило два или четыре запроса, за час он успевал обработать не больше, чем когда запросы приходили по одному. Ollama обрабатывает запросы к модели последовательно, в порядке очереди, поэтому при четырех клиентах каждый ждет примерно вчетверо дольше.
-
Время до первого токена почти равнялось полному: ответ короткий, и большая часть времени уходила на чтение промпта.
Второй нагрузочный тест я провел на длинных запросах – ответах по базе знаний, около 2500 токенов на входе. Здесь кэш почти не влияет, поэтому один режим и один прогон:
Модель
Запросов в час: 1 / 4 клиента
Ожидание при 4 клиентах, p50
Сбои
qwen3.5:2b
104 / 105
2,2 мин
Нет
qwen3.5:4b
64 / 62
3,7 мин
Нет
GigaChat 3.1 Lightning
56 / 55
4,2 мин
Нет
QVikhr-3-4B
48 / 48
4,9 мин
Нет
Результаты для длинных запросов: ответы по базе знаний, около 2500 токенов на входе.
Сбоев на длинных запросах не было, но при четырех клиентах память доходила до 7,7 ГБ, и сервер снова писал в swap (QVikhr до 5,9 ГБ за уровень). Причину я в итоге нашел, об этом ниже.
На двадцати примерах точность не оценить
В первой части в тесте на классификацию четыре модели верно определили категорию у всех 20 обращений. Но на такой выборке это означало лишь, что реальная точность с 95%-й уверенностью не ниже 84%. Чтобы узнать точнее, был нужен датасет с сотнями примеров.
Генерация датасета. Настоящие обращения клиентов могут содержать персональные и другие чувствительные данные. Поэтому я сгенерировал 327 обращений с помощью большой модели DeepSeek V4.1 Flash: шесть категорий, три уровня сложности и шесть стилей – от коротких сообщений в чате с опечатками до расшифровок голосовых. В сложных обращениях были смешаны две темы, например жалоба на курьера и вопрос о сроках доставки.
Разметка датасета. Определенную при генерации категорию я перепроверял двумя другими большими моделями, DeepSeek V4 Pro и MiMo V2.6 Pro, с тем же промптом, что и у тестируемых. За эталон брал ту категорию, с которой согласились хотя бы две модели из трех. В 297 случаях решения генерирующей и проверяющих моделей совпали. 29 обращений получили другую категорию. Одно я выбросил, так как три модели назвали каждая свою категорию. В итоге в выборке осталось 326 обращений.
Чтобы проверить, можно ли доверять эталону от моделей, я взял 50 случайных обращений и разметил их вслепую сам. С эталоном я совпал в 45 случаях из 50 (90%, интервал 79-96%). Даже с поправкой на случайные совпадения согласие почти полное: каппа Коэна составила 0,88. Это согласуется с исследованием Цюрихского университета: там ChatGPT в четырех задачах из пяти размечал тексты точнее исполнителей с краудсорсинговой платформы. Все пять расхождений пришлись на обращения, где можно защитить обе категории. Например, бракованный пылесос и грубый оператор поддержки в одном флаконе – это возврат или жалоба? Судите сами.
Модель
20 обращений
326 обращений
95%-й интервал
Время, общий промпт
Время, без кэша
GLM-4-9B
95%
92,0%
88,6-94,5%
7,6 сек
24,0 сек
qwen3.5:4b
100%
91,4%
87,9-94,0%
4,5 сек
11,0 сек
QVikhr-3-4B
100%
89,9%
86,1-92,7%
3,8 сек
12,4 сек
qwen3.5:2b
100%
89,6%
85,8-92,4%
2,9 сек
6,8 сек
T-lite-it-2.1
100%
89,0%
85,1-91,9%
5,7 сек
16,4 сек
granite4:micro-h
–
88,0%
84,1-91,1%
10,9 сек
13,7 сек
Qwen3-8B
100%
87,7%
83,7-90,9%
6,9 сек
21,9 сек
gemma3:4b
100%
87,4%
83,4-90,6%
8,8 сек
9,4 сек
d1-2B (decision-модель)
–
87,1%
83,0-90,3%
6,6 сек
6,6 сек
GigaChat 3.1 Lightning
100%
86,8%
82,7-90,1%
4,5 сек
11,0 сек
YandexGPT-5-Lite-8B
75%
72,1%
67,0-76,7%
6,2 сек
5,3 сек
Точность и время ответа при классификации на 20 и 326 обращениях.
В столбцах со временем приводится медианное время ответа: половину обращений модель обработала быстрее, половину медленнее. С общим промптом я мерил его на всех 326 обращениях, без кэша на 50 случайных. У d1-2B в обоих столбцах результат по всем 326 обращениям, кэш на нее не влияет.
Что тут интересного:
-
«20 из 20» ничего не гарантирует. Все семь моделей с идеальным результатом на малой выборке на большой ошибались примерно в одном обращении из десяти.
-
Лидеров нельзя разделить. Я сравнил модели первой пятерки попарно на одних и тех же обращениях: ни одна пара не различается статистически значимо. Значит, выбирать модель стоит по скорости и памяти.
-
У большинства моделей кэш ускоряет ответ в 2-3 раза. QVikhr с общим промптом отвечала за 3,8 сек, а без кэша втрое медленнее – за 12,4 сек. qwen3.5:2b без кэша замедлилась вдвое, с 2,9 до 6,8 сек. Исключения – gemma3, granite и YandexGPT: у них кэш почти ничего не дал.
-
Размер модели не имеет значения. Лучшая модель на 9B обогнала лучшую на 4B меньше чем на пункт, а все три модели на 8B оказались в рейтинге ниже лидеров на 4B.
d1-2B я проверил на тех же 326 обращениях и с теми же описаниями категорий, что и генеративные модели. Результат – 284 правильных ответа из 326 при 6,6 сек на обращение. По точности это уровень GigaChat и gemma3, статистически значимо d1-2B уступила только GLM-4-9B и qwen3.5:4b.
Главное отличие d1-2B от LLM – она возвращает вероятность ответа. И ей можно верить: в 151 ответе с вероятностью от 0,97 не было ни одной ошибки. Если отправлять человеку все, где вероятность ниже 0,9, модель сама закрывает 69% обращений с точностью 97,3%, а оставшийся 31% уходит на ручную проверку. Для саппорта, где ошибка дороже лишней проверки руками, это сильный аргумент.
Модели на 8-10B не оправдали ожиданий
С 8 ГБ в память поместились модели, которые в первой части в нее не укладывались, в том числе три российские. На короткой классификации они сравнялись с 4B (см. таблицу выше). На длинных задачах картина такая:
Модель
Ответы по базе знаний
Время на вопрос
Резюме: фактов из 32
Время на документ
T-lite-it-2.1
15 из 15
88 сек
27
172 сек
Qwen3-8B
15 из 15
120 сек
20
195 сек
GigaChat 3.1 Lightning
14 из 15
63 сек
22
110 сек
GLM-4-9B
14 из 15
117 сек
19
197 сек
YandexGPT-5-Lite-8B
14 из 15
82 сек
19
194 сек
Для сравнения: qwen3.5:4b
14 из 15
56 сек
28
90 сек
Для сравнения: qwen3.5:2b
14 из 15
34 сек
20
50 сек
Ответы по базе знаний и резюме документов моделями на 8-10B в сравнении с qwen3.5.
На базе знаний почти все справились одинаково. В резюме лучше других была T-lite, она показала эффективность на уровне qwen3.5:4b. При этом в большинстве модели на 8-9B отвечали в 1,5-2 раза дольше qwen3.5:4b, а преимуществ в качестве ни одна из них не дала. Выборки были маленькие, поэтому результаты статистически не различаются. Перевес T-lite в фактах следует назвать тенденцией, а не доказанным преимуществом.
GigaChat 3.1 Lightning стала самой быстрой из больших моделей. У нее 10B параметров, но на каждый токен работает только 1,8B (архитектура MoE). Поэтому она генерировала 8,7 ток/с, а плотные 8B-модели – около 5 ток/с. Все параметры при этом лежат в памяти, так что по объему она самая тяжелая: 6,5 ГБ. Тот же принцип у Mixtral 8x7B от Mistral: из 47B параметров на каждый токен работают 13B.
Под нагрузкой GigaChat прошла тот же тест, что и 4B-модели (таблицы в разделе про нагрузку). На коротких запросах с общим промптом она была на 10-20% медленнее QVikhr, а на длинных оказалась быстрее: 56 запросов в час против 48. GLM-4-9B я прогнал только в предварительном тесте по старой схеме, один раз: там она обработала 590-635 коротких запросов в час против 1062 у GigaChat, то есть почти вдвое меньше.
Падений не было, но модели на 5-7 ГБ занимали почти все 8 ГБ оперативы. На длинных запросах пик памяти доходил до 7,7 ГБ, и сервер снова начинал писать в swap.
YandexGPT-5-Lite-8B оказалась слабее остальных: 72% на большой выборке классификации, почти на 15 пунктов ниже ближайшей модели. JSON она при этом возвращала правильный, так что дело не в формате ответа.
Слабые стороны эксперимента и ограничения выводов
-
Обращения синтетические, эталон тоже делали модели. 326 обращений сгенерировала большая модель, эталон – большинство из трех голосов. Моя ручная разметка 50 случайных обращений совпала с эталоном в 45 случаях, но похожие на разметчиков модели могли получить небольшую фору. На живых обращениях точность будет другой.
-
Один сервер. Все цифры сняты на одном VPS с Xeon Gold 6148 и AVX-512. Steal был низким, но на другом хосте или на процессоре без AVX-512 скорость может заметно отличаться.
-
Маленькие выборки на длинных задачах. На базе знаний 15 вопросов, в резюме 32 факта: здесь видны только крупные различия.
-
Кэш промптов в Ollama может занять всю память. Внутри Ollama 0.35 работает llama.cpp с кэшем промптов в оперативной памяти, по умолчанию до 8 ГБ. У qwen3.5:4b каждый сохраненный промпт занимал около 43 МБ, и на 8-гигабайтном сервере кэш постепенно вытеснял все остальное. Отсюда шесть сбоев qwen3.5:4b в нагрузочном тесте и swap на длинных запросах. Помогает переменная окружения
LLAMA_ARG_CACHE_RAMвdocker-compose. В документации Ollama ее нет, это параметр самого llama.cpp:services: ollama: environment: LLAMA_ARG_CACHE_RAM: "1024"С лимитом в 1 ГБ я повторил нагрузочный тест qwen3.5:4b без кэша: сбоев не было, пик памяти 5,0 ГБ вместо 7,7, обмена со swap почти не наблюдалось. Цифры в таблицах сняты с настройками по умолчанию.
-
Кэш гибридных моделей непредсказуем. У qwen3.5 время с общим промптом зависит от того, сработает ли кэш, а это заранее не угадать. Для них надежнее ориентироваться на цифры без кэша.
-
Модели на 8-10B занимают почти всю память. Файлы на 4,9-6,5 ГБ оставляют на 8-гигабайтном сервере около гигабайта на контекст и систему. На длинных запросах T-lite и Qwen3-8B снова уходили в swap (2,4 и 3,5 ГБ обмена за прогон). Для таких моделей 8 ГБ – необходимый минимум, а не запас.
Что в итоге брать под задачу
Задача
Модель
Почему
Классификация обращений, один промпт на все запросы
QVikhr-3-4B
89,9%, 3,8 сек на обращение, ~990 запросов в час, кэш работает стабильно
Классификация обращений, у каждого запроса свой промпт
qwen3.5:2b
89,6%, 6,8 сек без кэша, ~520 запросов в час
Классификация обращений на российской модели
GigaChat 3.1 Lightning
86,8%, 4,5 сек, ~820 запросов в час
Классификация обращений, сомнительные случаи проверяет человек
d1-2B
87,1% в целом, 6,6 сек; при пороге 0,9 сама решает 69% обращений с точностью 97,3%
Ответы по базе знаний
qwen3.5:2b
34 сек на ответ, ~105 ответов в час под нагрузкой
Резюме документов
qwen3.5:4b или T-lite-it-2.1
Больше всего фактов, 1,5-3 мин на документ
Какую модель брать под задачу на VPS с 8 ГБ RAM без видеокарты.
Для текстовой рутины хватает модели на 2-4B и 8 ГБ памяти. Две вещи важнее выбора модели: общий системный промпт в начале запроса, который ускоряет ответ в 2-3 раза, и ограничение кэша промптов в Ollama – без него на сервере с 8 ГБ кэш со временем занимает всю память и модель начинает сбоить.
Для моделей на 2-4B с длинными текстами 8 ГБ RAM – разумный минимум. На 4 ГБ они падали и не вылезали из swap. На сервере рекомендую сразу ограничить кэш промптов через LLAMA_ARG_CACHE_RAM. Модели на 8-10B на таком VPS запустить можно, но в моих тестах они не дали выигрыша по качеству и работали медленнее. Если выбирать между лишним vCPU и лишней памятью, берите память: пятый vCPU ускорил работу лишь на 10-25%.
На что ссылаюсь в тексте
-
Zheng и др., 2023. SGLang: Efficient Execution of Structured Language Model Programs – переиспользование кэша общего префикса.
-
Miller, Anthropic, 2024. Adding Error Bars to Evals: A Statistical Approach to Language Model Evaluations – интервалы и парные сравнения моделей.
-
Yuan и др., 2024. LLM Inference Unveiled: Survey and Roofline Model Insights – пропускная способность памяти как узкое место генерации.
-
Pan и др., 2024. Marconi: Prefix Caching for the Era of Hybrid LLMs – кэш промптов у гибридных моделей.
-
Gilardi, Alizadeh, Kubli, 2023. ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks – разметка текстов моделью и людьми.
-
Jiang и др., Mistral AI, 2024. Mixtral of Experts – архитектура MoE.
Источник: habr.com