Команда Qwen выпустила Qwen-MM-Plugins — открытый мультимодальный tool layer, который позволяет подключать зрение, OCR, обработку видео и аудио к любому агентному окружению в виде отдельных плагинов. Вместо того чтобы жестко встраивать мультимодальность в конкретную модель, Qwen предлагает сделать набор специализированных инструментов, которые агент может юзать по мере необходимости.
Агент, запущенный в Claude Code, Codex, Qwen Code, Gemini CLI, Qoder, OpenClaw или другом совместимом тестовом окружении, получает доступ к коллекции мультимодальных способностей (capabilities) и использует их как обычные инструменты внутри длинного воркфлоу. Репозиторий устроен именно как набор отдельных модулей, которые можно устанавливать независимо друг от друга.
На старте базовый плагин предоставляет:
-
чтение изображений;
-
анализ видео;
-
работу с документами и 3D-моделями;
-
OCR;
-
object grounding;
-
сегментацию;
-
транскрибацию речи;
-
кадрирование и другие операции.
Вместо привычной схемы: агент → одна мультимодальная модель, получается более гибкая архитектура: агент → набор специализированных мультимодальных инструментов → цепочка действий.
Например, агент может сначала проанализировать изображение, затем найти нужный объект, вырезать конкретную область, выполнить OCR, сопоставить результат с видеороликом, транскрибировать аудио и собрать все полученные данные в единый ответ.
По сути, Qwen пытается сделать, простите за тавтологию — мультимодальность действительно модульной. Не нужно переходить на отдельный рантайм или новую агентную платформу — достаточно установить нужный capability, после чего агент сможет использовать его как обычный инструмент. Это должно быть особенно удобно для длинных агентных сценариев, где требуется последовательно комбинировать несколько разных операций над изображениями, видео, документами и аудио.
Проект распространяется по лицензии Apache 2.0, а репозиторий уже содержит примеры интеграции с популярными агентными средами и готовые cookbook-сценарии для работы с Qwen3.8-Max. Ссылка на GitHub.
Источник: habr.com