В ходе сессии вопросов и ответов на Reddit команда Moonshot AI раскрыла планы по развитию модели Kimi K2. Разработчики подтвердили, что готовят несколько новых версий, включая облегченные для запуска на потребительском «железе», а также ведут работу над мультимодальностью и агентным режимом с поддержкой инструментов.
В ближайшие месяцы K2 получит несколько дополнительных версий, рассчитанных на локальные и корпоративные сценарии. Moonshot хочет расширить линейку, добавив «средние» и компактные модели — примерно от 15 до 30 миллиардов параметров, которые смогут работать на более доступных GPU, начиная с RTX 3090/4090/5090. Эти модели подойдут для локального запуска и экспериментов.
Следующее направление — мультимодальность. Версия K2 с поддержкой компьютерного зрения уже находится в активной работе. Она позволит анализировать графики, скриншоты, PDF и документы, а также будет отвечать на вопросы по визуальному контенту. Текстовую версию команда выпустила раньше, чтобы отладить архитектуру и обучение.
Еще один крупный шаг — полноценный агентный режим. Он позволит K2 действовать по схеме «думай → используй инструмент → думай снова». Это значит, что модель сможет самостоятельно вызывать поиск, выполнять код или парсить данные, возвращаясь к рассуждению после каждого шага. Такой формат, по словам команды, особенно важен для исследований, аналитики данных и программирования. Сейчас они решают ключевую задачу — добиться стабильности в таких циклах, чтобы избежать «болтовни» и ошибок в вызовах инструментов.
Технически K2 уже перешла на INT4 как базовый формат инференса, что ускоряет работу без потери точности. Под капотом — гибридное внимание KDA + NoPE MLA и оптимизатор Muon, прошедший масштабное тестирование. Пару слов разработчики сказали и о K3 — пока разработка на ранней стадии, но новинка выйдет «быстрее, чем Сэм Альтман построит дата-центр на триллион долларов» (очевидно, что это шутка).
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com