Моддер под ником Tymscar решил проблему нехватки видеопамяти для локального запуска тяжелых ИИ-моделей. Имея ПК с видеокартой GeForce RTX 4080 (16 ГБ VRAM), которой с запасом хватает для любых AAA-игр, он столкнулся с жестким лимитом памяти при инференсе нейросетей. Вместо покупки дорогущих потребительских карт уровня RTX 4090/5090 энтузиаст за копейки интегрировал в систему серверный ускоритель NVIDIA Tesla V100 SXM2.
Ускорители Tesla V100 SXM2 лишены привычной гребенки PCIe и видеовыходов. Для подключения к обычной материнской плате пришлось заказывать специализированный переходник SXM2-to-PCIe с eBay (стоимостью около $66, сама плата V100 обошлась в ~$140). Серверный кулер на испарительной камере выдавал дикие 82 дБ шума (автор сравнил звук одновременно с газонокосилкой и измельчителем отходов). Проблема была решена модификацией проводки кулера через PWM-переходник и материнскую плату — снижение оборотов до 10% от максимума снизило шум до комфортного уровня, при этом температура HBM2-памяти в нагрузке не превышает 50°C.
Заставить работать в одной системе архитектуру Volta (Tesla V100) и Ada Lovelace (RTX 4080) удалось благодаря операционной системе NixOS и подбору легаси-драйверов NVIDIA, перекрывающих поддержку обеих поколений.
Суммарные затраты на апгрейд составили всего ~$266, что дало системе пуловые 32 ГБ VRAM (16 ГБ GDDR6X + 16 ГБ HBM2 со скоростью шины 900 ГБ/с). На получившейся системе автор развернул модель Qwen 3.6 (27B) с квантованием Q5_K_M и контекстом 128K. Скорость генерации составила 32 токена в секунду (при обработке промпта 133–160 токенов/сек) — это быстрее большинства облачных API и идеально подходит для комфортной работы с локальным ИИ без постоянной подписки. При этом RTX 4080 по-прежнему отвечает за вывод изображения и игры.
Источник: www.goha.ru