AMD представила языковые модели Instella — 3 млрд параметров и полностью открытые

Компания AMD анонсировала семейство современных языковых моделей Instella с 3 млрд параметров и открытым исходным кодом. Эти модели обучены на графических процессорах AMD Instinct MI300X и обеспечивают производительность на уровне Llama 3.2 3B, Gemma-2 2B и Qwen 2.5 3B, а в некоторых моментах даже превосходят своих конкурентов. Компания не только опубликовала исходный код, но и веса, конфигурации, набор данных. ИИ-модели можно дополнительно обучать с помощью программной платформы AMD ROCm. Telegram-канал создателя Трешбокса про технологии

Семейство Instella включает четыре языковые модели: Instella-3B-Stage1, Instella-3B, Instella-3B-SFT и Instella-3B-Instruct. Они поддерживают контекст до 4096 токенов, имеют размер словаря около 50000 токенов с использованием токенизатора OLMo. В компании отметили, что модели не предназначены для случаев, требующих высокого уровня фактологии, критических ситуаций безопасности, здравоохранения или медицинских приложений. Узнать больше о новых языковых моделях AMD можно на сайте компании, их код размещён на GitHub.

Источник: trashbox.ru

Похожие новости:

AMD представила компактную языковую модель AMD-135M, использующую упреждающее декодирование Alibaba выпустила модель Qwen с открытым исходным кодом, которая обрабатывает 1 миллион входных токенов В суде США разваливается коллективный иск «разработчики против Microsoft, GitHub и OpenAI из-за работы GitHub Copilot» DeepSeek вызвал истерику у Американских ИИ корпораций