Xiaomi представила семейство MiMo-V2.6. В него вошли две модели с открытыми весами, MiMo-V2.6-Pro и более экономичная MiMo-V2.6-Flash. Обе принимают текст, изображения, видео и аудио, поддерживают контекст до миллиона токенов и распространяются под лицензией MIT.
Компания позиционирует новинки не просто как чат-ботов, а как основу для автономных агентов. Модели умеют работать с кодом и интерфейсами, управлять компьютером, создавать 3D-сцены, собирать презентации и выполнять длинные цепочки действий с инструментами.
Триллион параметров, но активны только 42 миллиарда
MiMo-V2.6 построены на разреженной архитектуре Mixture of Experts. Вместо запуска всей нейросети для каждого токена маршрутизатор выбирает несколько подходящих экспертных блоков. Это позволяет увеличивать общую ёмкость модели без пропорционального роста стоимости каждого запроса.
По данным официальных model card:
Модель
Всего параметров
Активно при инференсе
Контекст
MiMo-V2.6-Pro
1,02 трлн
42 млрд
1 млн токенов
MiMo-V2.6-Flash
309 млрд
15 млрд
1 млн токенов
Обе модели используют собственный визуальный энкодер MiMo ViT на 681 млн параметров и два аудиоэнкодера. Спекулятивный декодер пытается предсказать сразу несколько следующих токенов, а основная модель затем проверяет их параллельно. Подробности архитектуры опубликованы в карточке Pro и карточке Flash.
Первая среди моделей с открытыми весами
MiMo-V2.6-Pro получила 46 баллов в актуальной версии Artificial Analysis Intelligence Index. На момент публикации это первое место среди 114 моделей с открытыми весами.
Источник: habr.com