Специалисты инженерной школы Университета Южной Калифорнии (USC) представили искусственный нейрон на базе диффузионного мемристора, который повторяет ключевую особенность своего «живого» аналога — способен накапливать входящие сигналы и выдавать короткий импульс (спайк), когда уровень стимуляции достигает порога. Это свойство полезно в перспективных спайковых нейросетях, которые рассматриваются как один из кандидатов на смену трансформерам.
В трансформерах «нейрон» — это по сути математическая функция: он умножает входы на веса, складывает их и прогоняет через активацию. Такое устройство удобно считать пакетами и матрицами, но оно не живет во времени — это просто вычисление по снимку данных. В спайковых нейросетях все устроено ближе к биологии: элемент сначала накапливает сигнал, а затем при достижении порога выдает короткий импульс. Важно не только «сколько» пришло, но и «когда» пришло. Теоретически спайковые нейросети могут стать намного более энергоэффективными и производительными.
Однако их преимущество теряется, если спайковый нейрон эмулировать на значительном количестве транзисторов. И вот эту проблему решает разработка USC — их искусственный нейрон по размеру сопоставим с одним транзистором, а значит на кристалле можно уместить значительно больше вычислительных «клеток», чем в традиционных нейроморфных схемах, и при этом сократить энергопотребление. Кроме того, вычисления и память здесь не разделены, а сосуществуют в одном и том же элементе — как в мозге.
Проблема пока в том, что нынешний прототип использует серебро, а этот материал плохо подходит для массового производства. Поэтому далее специалисты займутся поиском более подходящих материалов, а также попробуют создать небольшой массив нейронов, чтобы показать их совместную работу.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com