Учёные из BitEnergy AI предложили новый метод для повышения энергоэффективности работы языковых моделей. В основе исследования лежит алгоритм линейной сложности умножения (L-Mul), который позволяет заменять операции с плавающей точкой на более простые операции сложения целых чисел. Это решение, по их словам, может значительно сократить потребление энергии при работе с большими нейронными сетями, особенно в трансформерных моделях, таких как ChatGPT.
Авторы утверждают, что использование их алгоритма вместо стандартных операций умножения с плавающей точкой позволяет сэкономить до 95% энергии на элементарных умножениях тензоров и до 80% на операциях с матрицами. В проведённых тестах, замена традиционных умножений на L-Mul практически не ухудшала точность вычислений, а в некоторых случаях даже улучшала результаты на задачах обработки естественного языка и визуальных данных.
Энергопотребление стало основным ограничением для развития ИИ, и только GPU, проданные за прошлый год для дата-центров, потребили больше энергии, чем миллион домов за год. Даже Google отодвинул свои климатические цели на второй план из-за потребностей ИИ в энергии, увеличив свои выбросы парниковых газов на 48% с 2019 года, вместо того чтобы ежегодно сокращать их, как ожидалось. Бывший генеральный директор компании даже предложил отбросить климатические цели и увеличить производство энергии, чтобы с помощью более продвинутого ИИ решить проблему глобального потепления.
Но если обработка данных ИИ может быть более энергоэффективной, то, похоже, мы все еще можем получить передовые технологии ИИ без ущерба для планеты. Кроме того, снижение энергопотребления на 95 % также уменьшит нагрузку, которую создают центры обработки данных.
Дисклеймер : Новостную заметку подготовила редакция «Технократии». Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Обсудить пилот или задать вопрос об LLM можно здесь.
Источник: habr.com
Похожие новости:
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
«Количество желающих повышать квалификацию в больших компаниях меньше, чем среди предпринимателей»
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»
Создан алгоритм, который сократил энергопотребление ИИ на 95%