Важное открытие сделали ученые, пытаясь улучшить эффективность искусственного интеллекта (ИИ) без лишних затрат энергии. Оказалось, что существует способ сделать нейросети более умными, не увеличивая их размеры до предела, как это принято в современных методах обучения.
До недавнего времени считалось, что для повышения точности нейросетей нужно увеличивать количество их параметров. Эта стратегия называется гипотезой «лотерейного билета», и она требует значительных вычислительных мощностей и энергии. Однако ученые обнаружили, что для нейросетей, которые уже имеют избыточное количество параметров, такой подход не всегда эффективен.
Исследования показали, что большие нейросети, имея достаточно ресурсов, могут обучаться быстрее, чем маленькие, что делает избыточные вычислительные мощности менее важными. Это открытие дает надежду на то, что с помощью «обучения по учебной программе» можно сделать ИИ более энергоэффективным. Такой метод предполагает, что система постепенно обучается, начиная с простых примеров и постепенно переходя к более сложным.
Этот подход оказался бесполезен для уже крупных сетей, поскольку они могут научиться на основе имеющихся ресурсов, не нуждаясь в обучении по сложному пути. Однако если начать с меньших сетей, обучение по подобной программе может значительно улучшить результаты, что позволяет оптимизировать использование энергии.
Источник: www.ferra.ru
Похожие новости:
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»
«Количество желающих повышать квалификацию в больших компаниях меньше, чем среди предпринимателей»
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
Сверхпроводящий токамак | Рентген в смартфоне | Теневая камера | Контакты для 2D-чипов