Структуры оркестрации для сервисов ИИ выполняют множество функций на предприятиях. Они не только определяют, как взаимодействуют приложения или агенты, но и позволяют администраторам управлять рабочими процессами и агентами, а также проводить аудит своих систем.
По мере того как предприятия начинают масштабировать свои ИИ-сервисы и внедрять их в производство, создание управляемого, отслеживаемого, проверяемого и надёжного конвейера гарантирует, что их агенты будут работать именно так, как должны. Без таких средств контроля организации могут не знать, что происходит в их ИИ-системах, и обнаружить проблему слишком поздно, когда что-то пойдёт не так или они не будут соблюдать нормативные требования.
Кевин Кайли, президент компании Airia, занимающейся корпоративной оркестрацией, в интервью VentureBeat сказал, что фреймворки должны обеспечивать возможность аудита и отслеживания.
«Очень важно иметь возможность наблюдать за происходящим и возвращаться к журналу аудита, чтобы снова увидеть, какая информация была предоставлена и в какой момент, — сказал Кайли. — Вы должны знать, был ли это злоумышленник, внутренний сотрудник, который не знал, что делится информацией, или это была галлюцинация. Вам нужна запись об этом».
В идеале надёжность и возможность аудита должны быть встроены в системы ИИ на самом раннем этапе. Понимание потенциальных рисков, связанных с новым приложением или агентом ИИ, и обеспечение их соответствия стандартам перед развёртыванием поможет развеять опасения по поводу внедрения ИИ в производство.
Однако изначально организации не разрабатывали свои системы с учётом возможности отслеживания и аудита. Многие пилотные программы ИИ начинались как эксперименты без уровня оркестрации или аудиторского следа.
Главный вопрос, с которым сейчас сталкиваются предприятия, заключается в том, как управлять всеми агентами и приложениями, обеспечивать надёжность своих конвейеров и, если что-то пойдёт не так, понимать, что именно пошло не так, и отслеживать эффективность ИИ.
Выбор правильного метода
Однако, по словам экспертов, прежде чем создавать какое-либо приложение на основе ИИ, организациям необходимо проанализировать свои данные. Если компания знает, к каким данным она разрешает доступ системам ИИ и с какими данными она настраивала модель, у неё есть отправная точка для сравнения долгосрочной эффективности.
«Когда вы запускаете некоторые из этих систем ИИ, возникает вопрос: какие данные я могу использовать, чтобы убедиться, что моя система работает правильно?» — сказал в интервью VentureBeat Ирийкс Гарнье, вице-президент по продуктам DataDog. «На самом деле это очень сложно — понять, что у меня есть правильная система для проверки решений на основе ИИ».
Как только организация идентифицирует и находит свои данные, ей необходимо создать версию набора данных — по сути, присвоить метку времени или номер версии, — чтобы сделать эксперименты воспроизводимыми и понять, что именно изменилось в модели. Эти наборы данных и модели, любые приложения, использующие эти конкретные модели или агенты, авторизованные пользователи и базовые показатели времени выполнения могут быть загружены на платформу оркестрации или наблюдения.
Как и при выборе базовых моделей для построения, командам, занимающимся оркестрацией, необходимо учитывать прозрачность и открытость. Хотя некоторые системы оркестрации с закрытым исходным кодом имеют множество преимуществ, более открытые платформы также могут предложить преимущества, которые ценят некоторые предприятия, например, более наглядное представление о системах принятия решений.
Платформы с открытым исходным кодом, такие как MLFlow, LangChain и Grafana, предоставляют агентам и моделям подробные и гибкие инструкции и возможности мониторинга. Предприятия могут разрабатывать свои конвейеры ИИ с помощью единой комплексной платформы, такой как DataDog, или использовать различные взаимосвязанные инструменты от AWS.
Еще один момент, который следует учитывать предприятиям, — это подключение системы, которая сопоставляет действия агентов и ответы приложений с инструментами обеспечения соответствия требованиям или ответственными политиками в области ИИ. AWS и Microsoft предлагают сервисы, которые отслеживают инструменты ИИ и то, насколько точно они соблюдают ограничения и другие политики, установленные пользователем.
Кайли сказал, что при создании этих надёжных конвейеров предприятия должны учитывать один момент, связанный с выбором более прозрачной системы. По мнению Кайли, отсутствие понимания того, как работают системы ИИ, не сработает.
«Независимо от того, в какой сфере вы работаете, у вас будут ситуации, в которых вам нужна гибкость, а закрытая система не подойдёт. Есть поставщики с отличными инструментами, но это своего рода чёрный ящик. Я не знаю, как они принимают эти решения. У меня нет возможности перехватывать или вмешиваться в процесс там, где мне это нужно», — сказал он.
Пользуясь случаем, хочу порекомендовать BotHub — платформу, где можно протестировать все популярные модели без ограничений. Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и уже сейчас начать работать!
Источник
Источник: habr.com