Компания DFRobot представила DX-M1 — компактный ИИ-ускоритель, который устанавливается в обычный слот M.2 вместо SSD. Устройство обеспечивает производительность до 25 TOPS при энергопотреблении от 2 до 5 Вт. Это решение рассчитано на локальную обработку данных без необходимости держать включённой мощную видеокарту или постоянно обращаться к облачным сервисам.
Внутри модуля находятся 4 ГБ собственной памяти LPDDR5 и 128 ГБ QSPI NAND Flash. Ускоритель работает через PCIe 3.0 и поддерживает PyTorch, TensorFlow, TensorFlow Lite и ONNX с помощью SDK DXNN. Разработчики смогут запускать модели компьютерного зрения, включая YOLO и MobileNet, а среди подходящих задач — анализ видеопотока, навигация роботов и автоматизированный визуальный контроль. При этом DX-M1 не использует оперативную память основного компьютера.
Однако считать новинку универсальным устройством для локального ИИ не стоит. Четырёх гигабайт памяти недостаточно для запуска крупных языковых моделей на 27 или 70 млрд параметров, а обучать нейросети ускоритель не предназначен. Кроме того, встроенные 128 ГБ нельзя использовать как обычный системный накопитель, поэтому слот M.2 придётся отдать под DX-M1 вместо дополнительного SSD. Цена устройства составляет $139 — вполне доступный вариант для узкоспециализированных задач, но не замена полноценной видеокарте.
Источник: www.goha.ru