Сколько видеопамяти нужно LLM: считаем веса, KV-кэш и запас на одновременных пользователей

Вопрос «какая видеокарта нужна под модель N миллиардов параметров» обычно получает ответ «возьмите побольше». Но это можно посчитать на салфетке, и считать нужно не только веса модели. На практике память чаще кончается не из-за весов, а из-за KV-кэша, когда к сервису приходит десяток пользователей с длинным контекстом. Ниже — две формулы, таблица для популярных моделей и разбор трёх типовых сценариев.

Все цифры получены из опубликованных конфигураций моделей (число слоёв, голов внимания, размер головы) и проверяются калькулятором. Это оценка снизу: реальные движки добавляют свои накладные расходы, о них — в конце.

Формула 1: веса модели

Память под веса = число параметров × байт на параметр.

Точность

Байт на параметр

FP16 / BF16

2

FP8 / INT8

1

INT4 (AWQ, GPTQ, GGUF Q4)

≈ 0,55–0,6

У 4-битного квантования не ровно 0,5 байта: к весам добавляются масштабы и нулевые точки групп, а часть слоёв (эмбеддинги, иногда выходной слой) часто остаётся в 16 битах. Для оценки берём 0,56.

Модель

Параметров

FP16

INT8

INT4

Llama 3.1 8B

8,0 млрд

16,1 ГБ

8,0 ГБ

≈ 4,5 ГБ

Qwen2.5 32B

32,8 млрд

65,6 ГБ

32,8 ГБ

≈ 18,4 ГБ

Llama 3.1 70B

70,6 млрд

141 ГБ

70,6 ГБ

≈ 39,5 ГБ

Отсюда первый вывод: 70B в FP16 не помещается даже в одну H100 на 80 ГБ, а в INT4 — помещается в одну карту на 48 ГБ. Но только веса.

Формула 2: KV-кэш

При генерации модель хранит для каждого уже обработанного токена ключи и значения внимания на каждом слое. Это и есть KV-кэш. На один токен:

KV на токен = 2 × число слоёв × число KV-голов × размер головы × байт на элемент

Двойка — потому что хранятся и ключи, и значения. Ключевой множитель — число KV-голов. Современные модели используют grouped-query attention (GQA): у них голов запросов много, а голов ключей и значений — мало, обычно 8. Это в разы уменьшает кэш.

Модель

Слоёв

KV-голов

Размер головы

KV на токен, FP16

Llama 3.1 8B

32

8

128

128 КиБ

Qwen2.5 32B

64

8

128

256 КиБ

Llama 3.1 70B

80

8

128

320 КиБ

Llama 2 7B (без GQA)

32

32

128

512 КиБ

Пример расчёта для Llama 3.1 70B: 2 × 80 × 8 × 128 × 2 байта = 327 680 байт = 320 КиБ на токен.

Последняя строка для сравнения: у старой Llama 2 7B без GQA кэш на токен вчетверо больше, чем у Llama 3.1 8B, хотя модель меньше.

Сколько кэша на один диалог

Умножаем на длину контекста:

Модель

8K токенов

32K

128K

Llama 3.1 8B

1 ГиБ

4 ГиБ

16 ГиБ

Qwen2.5 32B

2 ГиБ

8 ГиБ

32 ГиБ

Llama 3.1 70B

2,5 ГиБ

10 ГиБ

40 ГиБ

Один пользователь с полным контекстом 128K на 70B занимает 40 ГиБ — столько же, сколько сама модель в INT4. Это тот момент, когда «модель же влезла» перестаёт работать.

Итоговая формула

Память ≈ веса + KV на токен × контекст × число одновременных запросов + накладные расходы

Накладные расходы: CUDA-контекст (сотни мегабайт на карту), активации, буферы движка. vLLM по умолчанию забирает 90% памяти карты (параметр gpu_memory_utilization) и всё, что осталось после весов, отдаёт под кэш. Поэтому на практике вопрос звучит так: сколько одновременных диалогов нужной длины поместится в остаток.

Три сценария

1. Внутренний ассистент на Llama 3.1 8B, 50 пользователей, контекст 8K. Веса в FP16 — 16 ГБ. Кэш: 50 × 1 ГиБ = 50 ГиБ. Итого около 66 ГБ плюс накладные. Одна карта на 80 ГБ справится, на 48 ГБ придётся резать либо число одновременных запросов, либо контекст. Важная оговорка: 50 пользователей в чате — это не 50 одновременных генераций. Реально одновременно работает меньше, и движок с постраничным кэшем (PagedAttention в vLLM) выделяет память по факту, а не под максимальный контекст каждого.

2. Llama 3.1 70B в INT4, 20 одновременных запросов по 8K. Веса — около 40 ГБ. Кэш в FP16: 20 × 2,5 ГиБ = 50 ГиБ. Итого около 90 ГБ — в одну H100 на 80 ГБ не входит. Варианты: две карты по 48 ГБ с тензорным параллелизмом или кэш в FP8, который делит 50 ГиБ пополам. Тогда 40 + 25 = 65 ГБ — в 80 ГБ помещается с запасом под накладные.

3. Llama 3.1 70B, длинные документы по 128K. Только кэш одного такого запроса — 40 ГиБ. Для нескольких одновременных нужны либо 2–4 карты по 80 ГБ, либо FP8-кэш, либо честное признание: столько контекста не нужно, и документы лучше резать на части и искать по ним (RAG).

Что уменьшает память и чем за это платят

  • Квантование весов в INT4 — минус ~70% к FP16. Плата — небольшая потеря качества, сильнее заметная на малых моделях и в задачах с точными фактами и кодом.

  • FP8-кэш — вдвое меньше KV-кэша. Поддерживается в vLLM и TensorRT-LLM. Аппаратная поддержка FP8 есть у Ada Lovelace и Hopper, на старших поколениях проверяйте, что ваш движок и версия это умеют.

  • Тензорный параллелизм — веса и кэш делятся между картами. Плата — обмен данными между картами на каждом слое. С NVLink это почти бесплатно, через PCIe на больших моделях ощутимо.

  • Меньший контекст. Самый дешёвый способ. Если 95% запросов укладываются в 8K, ставить лимит 128K ради редких случаев — дорогое решение.

Ориентиры по картам

Видеопамять

Примеры карт

Что помещается с разумным запасом

24 ГБ

RTX 3090, RTX 4090, RTX A5000

8B в FP16 с несколькими диалогами; 32B в INT4 на короткий контекст

32 ГБ

Tesla V100 32GB

8B с запасом; 32B в INT4

48 ГБ

RTX A6000, L40S

32B в INT4 с запасом; 70B в INT4 на один-два коротких диалога

80 ГБ

A100 80GB, H100

70B в INT4 с десятком диалогов по 8K; 32B в FP16

141 ГБ

H200

70B в INT8 с запасом под кэш

Отдельно про старшие поколения: Tesla V100 (архитектура Volta) не поддерживает BF16 и FP8, и часть оптимизированных ядер для квантования в популярных движках требует архитектуру Turing или новее. Прежде чем строить расчёт на такой карте, проверьте в документации движка, какие режимы на ней работают.

Как проверить расчёт у себя

  1. Возьмите config.json модели и найдите num_hidden_layers, num_key_value_heads и head_dim (или hidden_size, делённый на num_attention_heads).

  2. Посчитайте KV на токен по формуле выше.

  3. Запустите vLLM и посмотрите в логе строку о размере KV-кэша и максимальной параллельности для заданной длины контекста — движок считает то же самое и печатает результат при старте.

  4. Под нагрузкой смотрите nvidia-smi и метрики движка: если запросы уходят в очередь при свободной вычислительной мощности, упираетесь в память под кэш.

Итог

Память под LLM — это веса плюс кэш, и кэш растёт линейно с длиной контекста и числом одновременных запросов. Для небольших моделей и коротких диалогов хватает одной карты на 24–48 ГБ. Для 70B с десятком пользователей нужна либо карта на 80 ГБ с FP8-кэшем, либо две карты. Для длинного контекста считайте кэш до покупки железа, а не после.

Источник: habr.com

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев