ИИ-стартап Normal Computing, основанный бывшими инженерами Google Brain и Alphabet X, представил первый в мире термодинамический компьютер. Разработчики уверены, что он станет шагом к устранению галлюцинаций в моделях искусственного интеллекта и созданию безопасных агентов ИИ.
normalcomputing.ai
Приложения, основанные на генеративном ИИ и больших языковых моделях, требуют огромных ресурсов, а современные компьютеры могут быть недостаточно мощными, чтобы раскрыть весь спектр их работы. По мере роста и развития моделей проблема потребления энергии станет наиболее серьёзной для графических процессоров.
По словам разработчиков, даже передовые генеративные решения искусственного интеллекта могут оказаться ненадёжными в критически важных приложениях. Поэтому правильный учёт неопределённости с использованием вероятностных методов ИИ может иметь важное значение для разработки агентов. Эти новые подходы, такие как вероятностный ИИ, усложняют масштабирование, особенно для графических процессоров, но могут работать в тысячи раз более эффективно на термодинамическом компьютере.
В Normal Computing считают, что термодинамический подход сейчас наиболее перспективен, поскольку он опирается на стандартное производство полупроводников и работает при комнатной температуре.
Исследователи уже провели эксперимент с решением задачи из линейной алгебры на реальной печатной плате. Они реализовали инверсию матрицы 8×8. Инверсия матрицы — это подпрограмма в линейной регрессии метода наименьших квадратов, регрессии гауссовского процесса, фильтрах Калмана и некоторых предлагаемых расширениях преобразователей для языкового моделирования. По мере роста размерности матрицы она может ограничить скорость некоторых вычислений.
Термодинамический алгоритм инверсии матрицы предполагает загрузку её элементов в связи системы гармонических осцилляторов, доведение системы до теплового равновесия, а затем экспериментальное измерение ковариационной матрицы динамических переменных осцилляторов.
В Normal Computing разработали электрическую схему или стохастический процессор (SPU), который может реализовать алгоритм инверсии. Он использует стохастичность для облегчения вычислений.
Слева — 8 элементарных ячеек, ориентированных по диагонали, а также 28 связей. Справа — FPGA, которая занимается загрузкой и выгрузкой данных из элементарных ячеек
Для эксперимента по инверсии исследователи загрузили матрицу A в значения ёмкости в SPU. Затем, когда система пришла к термическому равновесию, они оценивли ковариации динамических переменных, чтобы построить обратную матрицу.
При эксперименте с матрицу 4×4 выяснилось, что ошибка при инверсии обычно уменьшается с увеличением количества выборок.
При инверсии матрицы 8×8 на трёх идентичных SPU был получен аналогичный результат.
Исследователи пришли к выводу, что тепловое равновесие простых электрических цепей можно использовать для выполнения сложных вычислений линейной алгебры.
Хотя этот алгоритм инверсии матрицы основан на оценке статистических свойств набора образцов, существуют и другие приложения, где результатом работы алгоритма станут сами образцы. Например, с помощью термодинамических процессов можно получить выборку из многомерного нормального распределения, которую затем можно использовать для различных задач, таких как моделирование Монте-Карло.
Источник: habr.com
Похожие новости:
Scale Computing предлагает скидку на свои продукты и услуги при миграции с платформ VMware
Загрязнение воздуха оказалось причиной роста числа самоубийств
Ушёл из жизни профессор Николас Дж. Хайэм — разработчик LAPACK и библиотеки NAG, а также автор части кода MATLAB
Пять дешёвых SSD стоимостью в 1000 рублей каждый сравнили по надёжности