Новая платформа открывает бизнесу возможность пользоваться современными ИИ-моделями в собственном корпоративном контуре, соблюдая при этом все регуляторные требования и нормы информационной безопасности.
«Группа Астра», российский разработчик инфраструктурного программного обеспечения, объявляет о выходе Боцман AI — платформы для запуска языковых и других моделей искусственного интеллекта внутри защищённого контура компании, без единого байта данных, уходящего во внешние облачные сервисы. Новинка снимает главное противоречие корпоративной ИИ-трансформации — получить всю мощь современных моделей и при этом полностью сохранить контроль над данными.
Новый продукт стал логичным расширением платформы «Боцман» — отечественного решения оркестрации контейнеров на базе Kubernetes, входящего в состав Astra Dev Platform и ориентированного на компании, которые строят внутренние платформы разработки и эксплуатируют приложения в изолированных или регулируемых инфраструктурах.
Сегодня бизнес хочет активно использовать языковые модели, однако требования информационной безопасности, регуляторные ограничения и внутренние политики зачастую исключают передачу данных во внешние сервисы. При этом развернуть модель самостоятельно до сих пор означало запускать отдельный инфраструктурный проект под каждую задачу: выбирать runtime, настраивать GPU, загружать веса, конфигурировать эндпоинты и мониторинг. Боцман AI берёт всю эту рутину на себя.
Платформенная команда описывает модель через стандартный Kubernetes-ресурс, а всё остальное система делает автоматически. Она самостоятельно подготавливает хранилище весов и запускает runtime с нужным движком — будь то vLLM, Ollama, SGLang или FasterWhisper, после чего публикует модель через единый шлюз. Отдельного внимания заслуживает механизм обновлений — они происходят без образования окна недоступности, что особенно критично при работе с дорогостоящей GPU-инфраструктурой.
Разработчики приложений получают привычный OpenAI-совместимый API. Переписывать существующий код не нужно — достаточно сменить адрес сервиса, и приложение продолжит работу уже с корпоративной моделью, развёрнутой внутри контура компании.
Помимо базовой функциональности, платформа предлагает ряд инструментов для промышленной эксплуатации. В неё встроены автоматическое масштабирование под нагрузку, система биллинга и управление API-ключами с контролем бюджетов, что позволяет прозрачно распределять ресурсы между командами и проектами. Установка при этом остаётся максимально простой и выполняется через Боцман Apps & Marketplace в виде Helm-чарта. Павел Ципорин: «Технологии должны быть человеко-ориентированными, а решения — объяснимыми» От гаража до завода: честный рассказ о компании ОВЕН Сергей Харитоненко: Хранение данных в эпоху кризиса
Источник: www.it-world.ru