Джон Кармак, легендарный программист и создатель Doom и Quake, снова будоражит умы индустрии своими нестандартными идеями. Кармак предложил использовать сверхдлинные оптоволоконные линии в качестве альтернативы традиционной оперативной памяти для нужд современного искусственного интеллекта. Идея кажется безумной, но, как это часто бывает у Кармака, за ней стоит строгая математическая логика.
Современные ИИ-модели (LLM) упираются в «стену памяти»: данных слишком много, а передавать их из видеопамяти в вычислительные ядра приходится постоянно. Кармак предлагает хранить эти данные не в транзисторах или конденсаторах, а буквально в пути — в виде световых импульсов внутри длинных катушек оптоволокна.
Оптоволокно может передавать терабиты данных в секунду, что позволяет получать гигантскую пропускную способность такого кэширующего решения. В это же время экономится энергия, а масштабировать подобные решения гораздо проще — просто добавь больше оптоволокна.
Единственным же минусом тут выступают задержки. Километровый кабель создаст задержку в 5 микросекунд, а это в тысячи раз больше, чем у кэша L2. Однако, как заявляет Кармак, для языковых моделей эти задержки не особо-то и важны, им важна именно пропускная способность потоковой передачи данных. Если архитектура чипа будет понимать, что данные придут ровно через 5 микросекунд, но и с вычислениями никаких проблем не возникнет.
Источник: www.goha.ru