Проблема в том, что технологии часто внедряют быстрее, чем успевают навести порядок в процессах. В результате автоматизация не исправляет слабые места, а делает их заметнее и опаснее. Разбираемся, как масштабируются ошибки и чем это грозит клиентам.
Об эксперте: Максим Гречихо — технический директор АО «Свой Банк». Более 17 лет опыта в индустрии, награжден почетным знаком Ассоциации банков России. Специализируется на руководстве IT-трансформацией, стратегическом планировании, управлении командами и внедрении банковских технологий.
Ускоряют ошибки
Когда ускоряют не работу, а ошибки
Любая система работает по тем правилам, которые в неё заложены. Если логика изначально неточная или процессы не до конца описаны, автоматизация просто начинает воспроизводить эти ошибки с повышенной скоростью.
В финтехе это особенно критично: банковские системы обрабатывают тысячи операций в секунду, и ошибки могут затронуть не только деньги компании, но и клиентов: списания, задержки переводов, некорректные балансы. Если в алгоритме есть сбой, он не остается локальной проблемой, а может начать повторяться снова и снова.
Нагрузка в финтехе — это не только количество кликов в приложении. Это сотни тысяч транзакций в пиковый час, тысячи параллельных запросов к API и базам данных, работа антифрод-систем на базе ML в реальном времени и жесткие требования регуляторов. При этом доступность таких систем обычно составляет 99,99%. Это значит, что суммарный простой не должен превышать примерно 4,4 минуты в месяц. Любое превышение сразу отражается на клиентском опыте и доверии к сервису.
В банковских системах используется сложная технологическая инфраструктура: микросервисная архитектура на базе Kubernetes с автоматическим масштабированием, системы мониторинга (Prometheus, Grafana, ELK), а также контуры аналитики (Data Lake и Data Warehouse). Дополнительно применяется постоянная инспекция трафика средствами защиты уровня WAF. Все компоненты должны работать согласованно и без сбоев.
Классический пример — инцидент с Knight Capital в 2012 году. Из-за ошибки в торговом алгоритме компания за 45 минут потеряла около 440 миллионов долларов. Проблема была не в одной операции, а в том, что система автоматически повторяла неправильные действия под нагрузкой.
Дополнительный фактор риска — взаимодействие систем. Даже простая функция может требовать цепочки интеграций с платежными шлюзами и внешними сервисами. На практике сбои часто возникают именно на стыках, где задействованы разные команды и нет единой зоны ответственности.
Как ошибается ИИ
Как ошибается ИИ в банках
ИИ уже активно используется в антифроде, скоринге и клиентском сервисе. Это одни из тех областей, где технология действительно показывает измеримый эффект: модели позволяют быстрее анализировать поведение клиентов, а автоматизация закрывает значительную часть типовых запросов.
Но у него есть ограничение: он не понимает контекст так, как человек, поэтому самая частая проблема — неверная интерпретация данных. На практике это проявляется в нескольких популярных кейсах:
- Блокировка операций: антифрод-система может посчитать обычную транзакцию подозрительной, например, из-за нетипичного поведения клиента или изменения геолокации. В результате карта блокируется, платеж не проходит.
- Ошибки в скоринге: модель может неправильно оценить заемщика из-за смещения в данных. Это приводит к отказам или, наоборот, к выдаче кредита с повышенным риском.
- Сбои в клиентском сервисе: чат-боты могут давать некорректные ответы или вести клиента по неправильному сценарию. В простых вопросах это быстро исправляется, но в финансах любая ошибка воспринимается острее. Скриншоты переписок с неудачными ответами быстро расходятся в соцсетях, обсуждаются и бьют по доверию к сервису. Даже если проблема единичная, эффект для репутации может быть масштабным.
- Неверные автоматические решения: при интеграции ИИ в операционные процессы система может инициировать действия без достаточной проверки, например, автоматически отклонять операции или менять условия обслуживания.
При этом важно учитывать, что ИИ опирается на вероятностные модели. В генеративных системах дополнительно возникает проблема так называемых «галлюцинаций», когда модель формирует уверенный, но некорректный результат.
В финансовой сфере такие ситуации критичны: алгоритм может выдать логичное, но ошибочное решение. Поэтому возрастает значение подходов AI Governance и explainable AI, которые позволяют контролировать поведение моделей и проверять их на предвзятость.
Главная проблема не в наличии самих ошибок, а в их масштабе: ИИ и автоматизация работают в реальном времени и принимают решения без пауз. Если логика сбоит, система продолжает действовать по тому же сценарию, пока ее не остановят.
В финтехе скорость и стабильность должны обеспечиваться одновременно. Для этого используются DevOps-практики: canary-релизы, feature flags и регулярное стресс-тестирование. Но даже при этом ключевой зоной риска остаются интеграции. Для клиента это выглядит как простой: деньги не уходят, не приходят или внезапно блокируются. Для банка — это нагрузка на поддержку, репутационные риски и возможные претензии со стороны регулятора.
Граница
Где проходит граница автоматизации
Исключить ИИ и новые технологии из процессов, конечно, не нужно и уже невозможно. Они значительно ускоряют работу, делают ее качественнее и точнее, а также снижают нагрузку на команды. Но оставить ИИ без должного контроля пока нельзя.
Поэтому ИИ сейчас используется как инструмент, усиливающий специалистов. Он помогает ускорять разработку, обработку данных и выполнение рутинных задач, но не заменяет контроль.
В финансовых продуктах нельзя полностью полагаться на модель, в том числе из-за риска некорректных результатов. Поэтому возрастает значение специалистов, работающих с AI Governance и контролем алгоритмов. Критические решения должны перепроверяться вручную, и это касается всего, что связано с деньгами, доступами к счетам и безопасностью пользователей и данных. Поэтому сейчас основной подход — не полная автоматизация, а гибридная модель: рутинные операции выполняет система, а ключевые точки остаются под контролем человека.
Сначала процессы
Почему сначала процессы, а потом технологии
Главный вывод простой: автоматизация не исправляет хаос. Если процессы не описаны, зоны ответственности размыты, а логика меняется от команды к команде, любая технология только усугубит проблемы.
Кроме того, риски возникают не только внутри систем. Многие компании передают часть процессов подрядчикам, чтобы ускорить развитие. Это снижает нагрузку на команды, но добавляет зависимость. Передача функций внешним подрядчикам создает уязвимости в цепочке поставок (supply chain attacks) и может привести к потере контроля над критическими компонентами, включая криптографические ключи и журналы событий.
Отдельная проблема — человеческий фактор. Даже при наличии сложных систем защиты (WAF, IDS/IPS) фишинг остается одним из основных векторов атак. Без регулярного обучения сотрудников и взаимодействия между ИТ, ИБ и бизнесом технологические меры не обеспечивают достаточного уровня защиты.
Поэтому сначала выстраивают основу: понятные правила, прозрачные процессы, контроль на ключевых этапах. И только после этого подключают автоматизацию и ИИ, иначе вместо ускорения бизнеса получается ускорение ошибок.
Источник: hi-tech.mail.ru