Генеративный ИИ используют более 80% компаний для разработки ПО, однако почти все участники рынка видят в этом серьезные риски безопасности. Бизнес ищет способы сохранить преимущества новых технологий, не теряя контроль над данными и процессами разработки.
Исследование УЦСБ и ГК «Солар» показало, что GenAI уже стал привычным инструментом в процессе создания ПО. Более 80% опрошенных организаций допускают его применение для ускорения разработки, упрощения анализа программного кода и поиска уязвимостей. Одновременно усиливается внимание компаний к вопросам безопасности. 95% считают, что применение GenAI связано с существенными рисками в области информационной безопасности, а 40% респондентов оценивают эти риски как крайне критичные.
Большинство российских компаний предпочитают использовать ИИ в контролируемом режиме. Так, 50,5% организаций разрешают применение GenAI в разработке только при соблюдении определенных ограничений. В частности, речь идет об использовании сервисов, развернутых внутри собственной инфраструктуры компании по модели on-premise, а также о соблюдении внутренних требований по ИБ. Вместе с тем 32,2% участников исследования сообщили, что не осуществляют контроль за использованием ИИ и не устанавливают требований по безопасности для подобных сервисов, что увеличивает потенциальные риски.
Исследование также зафиксировало высокий интерес бизнеса к корпоративным LLM закрытого типа. Такие решения позволяют обрабатывать данные внутри собственного контура организации без передачи информации во внешние сервисы. Положительно к внедрению специализированных закрытых или дополнительно обученных LLM для задач анализа уязвимостей, автоматизированного исправления программного кода и проверки безопасности относятся 86,9% опрошенных компаний. При этом 25,3% считают внедрение подобных систем актуальной необходимостью уже сегодня. Еще 61,6% готовы рассматривать такие решения при наличии подтвержденной эффективности и достаточного уровня защиты. Лишь 13,1% респондентов пока отдают предпочтение традиционным инструментам.
Как отметил руководитель направления безопасной разработки УЦСБ Евгений Тодышев, бизнес проявляет готовность инвестировать в закрытые LLM, тогда как разработчики уже активно используют GenAI для написания и анализа программного кода. По его словам, одного размещения модели внутри корпоративного ИТ-периметра недостаточно. Ключевое значение имеет выстраивание безопасных процессов, включая разработку четких регламентов применения ИИ, внедрение автоматизированных механизмов проверки кода и постоянное обучение специалистов. Без регулярного пополнения моделей актуальными сведениями о новых уязвимостях закрытые LLM не смогут своевременно выявлять современные методы атак и предупреждать о возникающих рисках. По этой причине рынку уже необходимы подходы, обеспечивающие непрерывное обновление моделей в рамках контролируемой и безопасной среды.
В ходе исследования компании также оценивали возможности использования искусственного интеллекта для анализа уязвимостей ПО и высказывали предпочтения относительно применения публичных или корпоративных моделей.
Организации, использующие публичные LLM и ML-модели для выявления вредоносного кода, сталкиваются с рядом специфических угроз. Среди наиболее значимых рисков выделяются утечки данных, накопление уязвимостей в коде, созданном при участии ИИ, а также неспособность публичных сервисов корректно выявлять часть проблем безопасности в процессе триажа. Дополнительными факторами риска становятся поверхностный анализ программного кода и непредсказуемость результатов проверки. Это, в свою очередь, негативно влияет на безопасность процессов разработки ПО в CI/CD-контейнерах — изолированных средах выполнения, обычно построенных на Docker или Kubernetes, которые используются для автоматизации сборки, тестирования и развертывания приложений и обеспечивают одинаковую работу программного кода на различных серверах. По данным актуальных исследований безопасности приложений, проведенных ГК «Солар», от 75 до 80% массовых цифровых сервисов уже содержат критически важные уязвимости, способные привести к компрометации конфиденциальных пользовательских данных.
Многие ИИ-сервисы рассматривают код как набор последовательностей токенов, а не анализируют его внутреннюю логику, рассказал Владимир Высоцкий, руководитель отдела развития бизнеса ПО Solar appScreener. Этот подход основан преимущественно на поиске совпадений с известными шаблонами и не предполагает глубокого изучения потоков данных или семантики программного кода. В результате возрастает количество ложных срабатываний, а сложные уязвимости могут оставаться незамеченными. На этапе триажа публичные языковые модели пропускают от 40 до 50% уязвимостей. Кроме того, подобные решения не подходят для анализа крупных проектов, содержащих сотни тысяч строк кода и использующих множество различных фреймворков. Это способствует росту спроса на специализированные инструменты обеспечения безопасности приложений.
Участники опроса выделили направления, в которые, по их мнению, необходимо вкладывать дополнительные ресурсы в области ИБ. Наиболее востребованным направлением стали специализированные LLM для задач разработки ПО и обеспечения безопасности приложений — этот вариант выбрали 45,5% респондентов. Далее следуют построение процессов MLSecOps, связанных с безопасной разработкой и эксплуатацией моделей искусственного интеллекта, — 39,4%, а также проведение аудитов безопасности, red teaming и тестирования на проникновение ИИ-систем — 37,4%.
Таким образом, рынок перешел от вопроса о целесообразности использования ИИ к поиску способов его безопасного и управляемого внедрения. В сфере разработки это предполагает одновременное движение по нескольким направлениям: обеспечение контролируемого доступа к генеративным инструментам, развитие закрытых корпоративных моделей, а также инвестиции в обучение персонала и создание политик кибербезопасности, регулирующих использование ИИ-сервисов. Именно сочетание этих мер формирует подход, который участники рынка называют «доверенным ИИ», обеспечивающим защиту данных, предсказуемость работы и сохранение полного контроля со стороны бизнеса. ИИ сделал ненужными 12 тыс. программ в вузах КНР Цифровые двойники в промышленности. Как виртуальные модели создают конкурентное преимущество Кредитка для дипфейка
Источник: www.it-world.ru