Представлены открытые проекты GPU-unlock и GPU-unlock-ADA. Это анлокеры, которые снимают ограничение производителя на выполнение матричных вычислений на видеокартах Nvidia серий RTX30xx и RTX40xx.
Nvidia программно блокирует скорость некоторых матричных вычислений, которые используют нейросети. По мнению экспертов отрасли, в компании это делают намеренно, чтобы на игровых видеокартах нельзя было эффективно запускать и тренировать ИИ. GPU-unlock снимает такие искусственные ограничения на производительность без изменения драйверов или прошивки.
Решение на базе анлокеров запускается до драйвера видеокарты. В итоге, например, итоговая мощность GPU в терафлопсах увеличивается для тренировки нейросетей и дообучения. Проект помогает увеличить производительность тензорных ядер в определенных задачах, таких как FP32 и BF16 вычисления. Также решение позволяет почти на 60% ускорить генерацию картинок и видео на локальных моделях.
У этих анлокеров есть и минус — в генерации текстов с помощью LLM эти проекты почти не помогают, так как в этом случае большой упор идёт на пропускную способность памяти видеокарты, ОЗУ и процессора.
Решение GPU-unlock базируется на исследованиях, связанных с разблокировкой прошивки для видеокарт CMP, используемых в майнинге криптовалют. Тесты показывают, что производительность GPU может увеличиться до 60% в зависимости от модели видеокарты и типа нагрузки.
В команде анлокера также работают над экспериментальной версией для Windows, которая использует UEFI вместо Linux модуля. GPU Unlock не увеличивает пропускную способность видеопамяти и не разблокирует дополнительные CUDA ядра. Хотя проект обещает значительные улучшения в ИИ-вычислениях, нет доказательств его влияния на игровые показатели.
В текущей реализации проекты GPU-unlock и GPU-unlock-ADA представляет интерес для пользователей RTX 30 и RTX 40, работающих с локальными ИИ-задачами и высокими вычислительными нагрузками
Источник: habr.com