IBM выпустила семейство открытых языковых моделей Granite 4.0 с числом параметров от 3 до 32 млрд. Все модели доступны под лицензией Apache 2.0 и поддерживают контекстное окно в 128 тысяч токенов. В линейку вошли Granite 4.0 H Small (32B/9B активных параметров), H Tiny (7B/1B), H Micro (3B/3B) и Micro (3B/3B).
Архитектура Granite 4.0 сочетает классические слои внимания трансформера с большим числом слоев типа Mamba — моделей со скрытым состоянием (state-space models, SSM). Такой гибрид, по данным IBM, снижает требования к памяти и ускоряет работу на длинных последовательностях без ощутимой потери качества. Модель Granite 4.0 H Small уже доступна на Replicate по цене $0,06 за миллион входных и $0,25 за миллион выходных токенов; все четыре модели можно загрузить с Hugging Face.
По агрегированному индексу Artificial Analysis Intelligence Index, который объединяет десять строгих бенчмарков (от MMLU-Pro до GPQA Diamond), Granite 4.0 H Small набрала 23 балла — это на восемь пунктов выше Granite 3.3 8B и на один пункт выше Gemma 3 27B (22). Granite 4.0 Micro (3B параметров) получила 16 баллов, опередив Gemma 3 4B (15).
Особо исследователи отметили токенную эффективность Granite 4.0: для прохождения набора тестов H Small использовала около 5,2 млн выходных токенов, а Micro — 6,7 млн. Это меньше, чем у большинства открытых моделей до 40 млрд параметров, что означает более низкие затраты при практическом использовании.
Длинный контекст в 128K и сниженные вычислительные требования делают Granite 4.0 удобной для задач извлечения знаний из документов и Retrieval-Augmented Generation (RAG), а открытая лицензия и поддержка дообучения (например, через LoRA) позволяют компаниям адаптировать модели под свои домены.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com