Со свои ми M5 AI
Компания Bosgame показала, как при помощи её мощных мини-ПК M5 AI можно локально запустить модель DeepSeek-V3.1 с 671 млрд параметров. Для этого нужно всего лишь семь таких мини-ПК.
M5 AI, представленный в прошлом году, представляет собой в целом обычный мини-ПК на Ryzen AI Max+ 395 в конфигурации со 128 ГБ ОЗУ в топовой версии. Само собой, несмотря на все возможности этой платформы, она не способна вместить очень крупные модели, но производитель показал, что систему можно масштабировать.
Фото Bosgame
Делается это посредством USB4 Direct Connection, благодаря чему несколько мини-ПК фактически превращаются в одну более мощную систему. При этом стоимость такого решения в разы ниже, чем у какого-то серверного кластера сопоставимой мощности, да и суммарное потребление будет весьма скромным.
На семи узлах итоговый кластер предоставляет 896 ГБ унифицированной памяти, при этом до 672 ГБ выделяется для GPU. Прямое подключение посредством USB4 позволяет узлам работать вместе без необходимости использования традиционной централизованной серверной архитектуры.
Bosgame отмечает тот факт, что желающим купить сначала один мини-ПК, а затем по возможности и необходимости докупать другие, наращивая мощность системы.
На старте в прошлом году топовая версия такой системы стоила около 1700 долларов, а сейчас производитель просит за ПК 2800 долларов.
Источник: www.ixbt.com