На мероприятии XRING Chip Technology Communication Conference компания Xiaomi представила экспериментальный мини-ПК AI Cube, предназначенный для локального запуска больших языковых моделей (LLM). Устройство является прототипом, а в его основе лежат сразу три собственных чипа компании: XRING O3, XRING O100 и XRING D100. Новинка ориентирована прежде всего на работу с моделями, которые заточены на текст, программирование и голосовые задачи. Telegram-канал создателя Трешбокса про технологии
Ключевым аппаратным компонентом системы является XRING O3. Это основной 10-ядерный процессор, построенный исключительно на производительных ядрах. У него 16-ядерный графический ускоритель G2-Ultra NX и энергоэффективный нейронный процессор производительностью до 200 TOPS. XRING O100 представляет собой высокопроизводительный ускоритель для задач искусственного интеллекта. Он изготовлен по 6-нм техпроцессу с использованием технологии трёхмерной упаковки на уровне пластины. Архитектура процессора предусматривает ускорение операций с большими объёмами данных, что особенно важно при работе с LLM. Наконец, XRING D100 создан для задач интеллектуального управления с помощью ИИ. Чип выполнен по 3-нм техпроцессу, оснащён 20-ядерным процессором и 16-ядерным нейронным ускорителем.
Xiaomi AI Cube выполнен в компактном корпусе из цельного алюминия аэрокосмического класса. Мини-ПК поддерживает постоянное энергопотребление до 150 Вт, обеспечивая запас мощности для продолжительных вычислительных нагрузок. Основная задумка инженеров заключалась в том, чтобы дать пользователям возможность запускать большие языковые модели непосредственно на самом устройстве, без необходимости отправлять запросы в облако. Система рассчитана на локальную работу с моделями, которые имеют от 3 до 120 млрд параметров. Есть переключатель между быстрым и медленным режимами работы — это зависит от характера задачи. Например, при более сложных вычислениях использовать ПК на максимум, а для простых сценариев ограничивать производительность.
На сегодняшний день AI Cube является экспериментальной разработкой Xiaomi. Компания не называет ни стоимость устройства, ни предполагаемые сроки продаж. Вероятнее всего, этот мини-ПК не станет полноценным коммерческим продуктом, а останется демонстрацией возможностей собственных ИИ-чипов. Тем не менее сам проект показывает, что компания постепенно формирует свою экосистему для локальных ИИ-вычислений.
Источник: trashbox.ru