Компания Microsoft нашла способ объединить несколько ПК для запуска больших ИИ-моделей

Компания Microsoft разработала способ объединять несколько компьютеров с помощью USB4, чтобы запускать на них крупные ИИ-модели. Для этого компания адаптировала технологию RDMA, которая позволяет передавать данные напрямую между оперативной памятью разных систем, снижая задержки и нагрузку на процессор. Подписывайтесь на Telegram-канал про технологии

Для работы потребуется USB4, поддерживающий высокую скорость обмена данными. При этом для объединения трёх компьютеров один из них должен иметь два соответствующих порта. Подключать дополнительные сетевые адаптеры, настраивать коммутаторы или устанавливать сторонние драйверы не придётся. Достаточно соединить совместимые ПК кабелями USB4. Разработчики также открыли исходный код NetworkDirect для USB4 и тестовой платформы на базе llama.cpp.

Во время демонстрации Microsoft использовала мини-ПК с процессором Ryzen AI Max+ 395 и 128 ГБ оперативной памяти. Три объединённые системы смогли запустить ИИ-модель Qwen3-235B-A22B с 4-битным квантованием. Производительность составила около 18,5 токена в секунду. Для сравнения, AMD ранее сообщала о результате 21,98 токена в секунду на собственной конфигурации.

Сейчас технология доступна в виде предварительной версии для разработчиков Windows. Она может стать более доступным способом запуска крупных языковых моделей, поскольку позволяет задействовать ресурсы нескольких обычных компьютеров без покупки специализированного сетевого оборудования.

Источник: trashbox.ru

0 0 голоса
Рейтинг новости
1
0
Подписаться
Уведомить о
0 комментариев