Nvidia выпустила инструмент PAIR (Personal AI Router), который объединяет несколько компьютеров в локальной сети и распределяет между ними задачи по запуску AI‑моделей. В один кластер можно подключить ПК с видеокартами Nvidia, системы DGX Spark и Mac. Код инструмента открыт.
PAIR — не отдельный движок для запуска нейросетей, а программа, работающая поверх Ollama или LM Studio. Когда приходит запрос к модели, утилита определяет, какой из компьютеров в локальной сети может его выполнить, отправляет задачу и возвращает результат. Благодаря этому модели можно использовать без предварительной адаптации под распределённую систему.
При выборе компьютера PAIR учитывает, находится ли устройство в сети, запущен ли на нём нужный движок, загружена ли требуемая модель и насколько сейчас занят GPU. Например, если на одном из устройств уже запущен требовательный процесс, то новые задачи будут автоматически перенаправляться на свободное устройство.
При этом программа не объединяет видеопамять разных устройств и не превращает несколько GPU в один виртуальный ускоритель. Каждый запрос от начала до конца выполняется на одном компьютере. Так, если подключить два устройства с 16 ГБ видеопамяти, то это не позволит запускать модели, которым требуется 32 ГБ.
Компьютеры обнаруживают друг друга в локальной сети через mDNS, а добавить устройство можно и вручную по IP‑адресу. Запросы, файлы и контекст агентов остаются внутри локальной сети и не требуют обращения к облачным сервисам. PAIR поддерживает Windows 11, Linux и macOS на архитектурах x64 и Arm64. В качестве вычислительных узлов можно использовать видеоускорители GeForce RTX 20 и новее, RTX PRO, DGX Spark и компьютеры Apple с чипами M4 и новее.
Исходный код PAIR доступен на GitHub под лицензией Apache 2.0.
Источник: habr.com