Intel LLM-Scaler — это инструмент для развертывания больших языковых моделей на оборудовании Intel Arc, поставляемый в виде Docker-контейнера. Особый упор делается на поддержку графических ускорителей серии Battlemage последнего поколения, в том числе конфигураций с несколькими картами в рамках инициативы Project Battlematrix, запущенной в прошлом году. Telegram-канал создателя Трешбокса про технологии
Кроме добавления поддержки недавно анонсированной видеокарты Arc Pro B70, образ платформы был обновлен до версии 26.18.8.2 и получил несколько небольших изменений переменных окружений.
Этот профессиональный ускоритель лишь недавно поступил в продажу и при стоимости менее 1000 долларов является конкурентоспособным среди графических решений с объёмом памяти 32 гигабайта и более.
Новая версия LLM Scaler выложена на GitHub в виде исходных кодов и доступна через Docker Hub.
Источник: trashbox.ru