Компания «Диасофт» выводит на рынок новый продукт «Управление жизненным циклом машинного обучения», который вошел в состав платформы «Фабрика данных» (Digital Q.DataFactory). Продукт предназначен для организации полного цикла работы с моделями машинного обучения (МL, Machine Learning) – от проведения экспериментов и управления версиями до промышленного развертывания, мониторинга и сопровождения моделей.
Компании финансового и промышленного секторов активно внедряют технологии машинного обучения для повышения эффективности бизнес-процессов и создания новых цифровых сервисов. Однако масштабирование ML-проектов зачастую сопровождается отсутствием единого подхода к управлению экспериментами, сложностями воспроизводимости результатов, высокими операционными рисками и значительными затратами на вывод моделей в промышленную эксплуатацию.
Для решения этих задач специалисты «Диасофт» разработали продукт «Управление жизненным циклом машинного обучения», который обеспечивает централизованное управление всеми этапами работы с ML-моделями в едином технологическом контуре организации.
В числе ключевых возможностей продукта:
-
Централизованное управление экспериментами с сохранением параметров, метрик, программного кода и артефактов для полной воспроизводимости результатов.
-
Ведение реестра моделей с поддержкой версионирования и разметка данных моделей на различных стадиях жизненного цикла.
-
Автоматизация развертывания моделей в различных средах – локальной инфраструктуре, облаке или on-premise-контурах.
-
Мониторинг работы моделей, логирование предсказаний и контроль дрейфа данных для поддержания стабильности и качества результатов.
-
Интеграция с популярными ML-фреймворками, включая PyTorch, TensorFlow и Scikit-learn, а также работа с проектами в формате контейнеров.
-
Предоставление бизнес-пользователям доступа к прогнозным моделям через чат-бот без необходимости работы с API и программным кодом.
«Важно консолидировать в едином контуре заказчика как эксперименты, так и модели, развернутые в реальных рабочих средах. В отличие от разрозненных инструментов, наш продукт обеспечивает сквозную автоматизацию. Ключевое преимущество продукта – готовая отечественная альтернатива зарубежным решениям, которая обеспечивает независимость от иностранных лицензий, соответствует требованиям информационной безопасности и снижает операционные затраты на внедрение технологий машинного обучения», – отмечает Илья Шуйков, руководитель продукта «Фабрика данных» компании «Диасофт».
Продукт использует Kubeflow Pipelines (KFP) для автоматизации полного цикла работы с моделями машинного обучения – от подготовки данных и обучения до развертывания в Kubernetes. Для промышленного инференса применяется KServe, который автоматически публикует модели из реестра как масштабируемые REST-сервисы с поддержкой GPU, canary- и blue-green-развертываний и автоматического восстановления после сбоев. В состав продукта также входят хранилище признаков (Feature Store) на базе Valkey и Apache Iceberg, единая аутентификация через Digital Q.Security (SSO/OIDC), а также Trainer Operator для запуска и управления распределенным обучением моделей в кластере Kubernetes.
Продукт может выступать в качестве отечественной альтернативы MLflow и другим зарубежным платформам управления жизненным циклом моделей машинного обучения.
С помощью продукта «Управление жизненным циклом машинного обучения» можно как создавать новые ML-сервисы, так и централизованно управлять существующим ландшафтом ML-моделей в крупных организациях.
Источник: habr.com