Разработан новый энергоэффективный метод запуска больших языковых моделей ИИ

Создан новый подход к более эффективной работе больших языковых моделей (LLM), отказавшись от матричного умножения (MatMul), основной вычислительной задачи в нейронных сетях. Этот прорыв может значительно снизить воздействие на окружающую среду и эксплуатационные расходы систем ИИ, пишут ученые.

В своей работе "Scalable MatMul-free Language Modeling" команда описывает пользовательскую модель с 2,7 миллиардами параметров, которая работает сопоставимо с традиционными LLM без использования MatMul. Они продемонстрировали модель с 1,3 млрд параметров, работающую со скоростью 23,8 лексем в секунду на GPU, ускоренном пользовательским чипом FPGA, потребляющим около 13 Вт.

Такой подход позволяет снизить энергопотребление в 38 раз по сравнению с традиционными методами, что делает ИИ более доступным и устойчивым, особенно на устройствах с ограниченными ресурсами, таких как смартфоны.

Исследователи призывают крупные институты масштабировать и развивать эту инновационную методику дальше.

Источник: www.ferra.ru

Похожие новости:

ServiceNow, Hugging Face и NVIDIA представили новое поколение ИИ-моделей StarCoder2 для генерации кода Учёные ORNL сумели обучить LLM с 1 трлн параметров, задействовав всего 3072 ускорителя AMD Instinct MI250X Учёные из AIRI, SberAI и «Сколтеха» нашли способ оптимизировать большие ИИ‑модели на 10–15% без потери качества PowerML привлекла $25 млн на развитие ИИ-платформы Lamini, в том числе от AMD и Louis Vuitton