В России появилась первая дорожная карта по искусственному интеллекту и сопутствующим технологиям (machine learning, large language model) для специалистов по информационной безопасности. Карту представил автор блога PWN AI Артём Семёнов и ещё несколько исследователей ИБ. Проект получил название «AI/ML/LLM security study map» и призван помочь ИБ‑специалистам повысить свои знания в области AISecurity.
По словам Артёма Семёнова, ландшафт угроз в сфере AISecurity динамично растёт. В этой карте Семёнов и ещё несколько специлаистов по кибербезопасности постарались рассказать о различных угрозах, связанных с ИБ и ИИ. Каждый человек может ознакомиться с тем, как называется та или иная угроза, и посмотреть, какими инструментами она может быть реализована. Также в своём блоге Семёнов рассказал, что взял несколько направлений из традиционной безопасности — AppSec, OffSec expert, Blue Team, paper security. Однако при разделении на уровни, в некоторых случаях исследователь отмечает сложность определения знаний, то есть к какому уровню будет относиться информация.
Карта предлагает ИБ‑специалистам погрузиться в безопасность нейросетей, а также много дополнительных материалов, например, ссылки на полезные инструменты, профильные материалы с новых конференций, нормативные материалы по разным странам, включая Россию и многое другое.
Автор блога PWN AI отметил, что известны случаи распространения бекдоров в opensource ИИ‑моделях и инцидентов, связанных с RAY (платформа для MlOps). По мнению Семёнова, это всё это нужно защищать. С каждым годом проблема ИБ в ИИ и сопутствующих технологиях будет нарастать, поэтому нужно быть готовым к защите AI‑компонентов в инфраструктуре компаний6 заключил специалист по ИБ.
Исследователи отмечают, что представленная редакция карты пока не окончательная, и любой желающий может поделиться с сообществом своими наработками или находками по теме AISecurity. Подробнее узнать о карте можно на Github‑репозитории проекта «AI/ML/LLM security study map».
Источник: habr.com
