Moonshot AI выложила на Hugging Face новую большую языковую модель под названием Kimi-Linear-48B-A3B-Instruct. Главная особенность — она умеет работать с контекстом до 1 млн токенов, то есть способна держать очень длинные документы, переписки или наборы исходников. Веса модели открыты, поэтому использовать может любой желающий.
Архитектура использует вариант линейного внимания , который позволяет не раздувать память и не замедляться на длинных запросах. Формально модель насчитывает около 48 млрд параметров, но в работу на каждом шаге вовлекается примерно 3 млрд. Такой подход позволяет при сохранении качества понизить требования к железу. В карточке модели приведен пример запуска через vLLM с разбиением на четыре видеокарты — на этом основании делают осторожную оценку, что Kimi-Linear-48B-A3B-Instruct ориентирована на конфигурации уровня 4×GPU с 24–40 ГБ памяти каждая.
Версия, выложенная в открытый доступ, уже дообучена в формате Instruct, то есть настроена на диалог и выполнение инструкций, а не только на «продолжи текст». Это делает ее пригодной для ассистентов, систем анализа больших документов, агентов, которые должны последовательно обрабатывать длинную историю запросов.
Moonshot пока не публиковала официальных бенчмарков, но для рынка открытых LLM это заметный шаг: до сих пор миллионный контекст чаще был либо маркетинговым заявлением, либо требовал слишком дорогого оборудования.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com