Видеокарты NVIDIA GeForce RTX потребительского сегмента могут оказаться заметно мощнее в задачах искусственного интеллекта, чем принято считать. Энтузиасты нашли способы обойти программные ограничения нескольких поколений GPU и добиться прироста вычислительной производительности до двух раз без замены драйверов и увеличения энергопотребления.
Для GeForce RTX 30 на архитектуре Ampere модификация повышает скорость выполнения операций, связанных с матричными вычислениями FP/BF16 с накоплением FP32. На RTX 3090 Ti это позволило ускорить умножение матриц в формате BF16 до 80%. Решение поддерживает карты на чипах GA102, GA103, GA104 и GA106. Отдельный проект для RTX 40 на архитектуре Ada Lovelace показал ещё более впечатляющий результат: RTX 4090 увеличила производительность вычислений FP16 с накоплением до 331,6 Тфлопс против исходных 165,6 Тфлопс. Разблокировка заявлена для GPU AD102, AD103 и AD106.
По данным TechPowerUp, подобные модификации позволяют приблизить вычислительные возможности игровых видеокарт к профессиональным ускорителям NVIDIA. Особенно заметной разница может стать при запуске локальных языковых моделей: повышается скорость обработки входных данных и генерации токенов. Аналогичный подход применили и к GeForce RTX 20 на архитектуре Turing, также добившись заявленного двукратного прироста.
Однако есть нюанс: модификации необходимо активировать при загрузке системы, до привязки карты к драйверам NVIDIA, а вмешательство в работу GPU лишает гарантии. Поэтому эксперимент выглядит заманчиво для энтузиастов ИИ, но превращать свою видеокарту в вычислительного монстра придётся на собственный страх и риск.
Источник: www.goha.ru