Учёные из Института AIRI, Центра квантовых технологий Сбербанка и «Сколтеха» разработали алгоритм для обучения нейросетей на гибридных вычислительных системах. Такие системы объединяют классический цифровой процессор и специализированный ускоритель — фотонный, нейроморфный или аналоговый. Об этом сообщила пресс-служба AIRI.
Стандартные процессоры недостаточно эффективны при обучении нейросетей из-за архитектурных ограничений. Поэтому разрабатываются альтернативные чипы, которые могут превосходить классическую электронику по эффективности. Однако пока они способны решать лишь отдельные задачи и используются как дополнение к цифровой системе.
Основная сложность — обучение такой гибридной сети. Внутренние процессы ускорителя недоступны для прямого анализа, а без этого стандартные методы обучения не работают. Новый алгоритм обходит это ограничение: вместо точного знания внутренних параметров учёные наблюдают за реакцией устройства на случайные изменения и применяют приближённую модель его работы.
Эффективность подхода проверили на шести цифровых моделях фотонных вычислительных слоёв и трёх классах задач. Результаты оказались близки к полностью цифровым базовым моделям. В дальнейшем такие системы могут применяться в дата-центрах для обучения больших моделей и в устройствах с требованиями к скорости и энергопотреблению.
Источник: www.ferra.ru