Компания Cloudflare Inc. анонсировала разработку продукта Firewall for AI для обеспечения клиентов дополнительным «слоем»-брандмауэром, защищающим большие языковые модели (LLM). По данным Silicon Angle, новые инструменты позволят выявлять потенциальные атаки до того, как те нанесут критический ущерб функциональности информационных систем или обеспечат злоумышленникам доступ к важным закрытым сведениям.
Дополнительно компания анонсировала пакет новых инструментов, использующих ИИ-алгоритмы для защиты ИИ-проектов, в том числе выявление аномалий в пользовательском поведении, подозрительной корреспонденции и т.д. Это важно, поскольку по мере того, как внедрять LLM и прочие ИИ-системы начинают всё больше компаний, растут и риски атак на них — началась «гонка вооружений ИИ».
Источник изображения: CloudFlare
Firewall for AI обеспечит защиту LLM, работающих на платформе Workers AI для периферийных вычислений. WAF, защищающий языковую модель, может сканировать обращения к LLM на наличие угроз без вмешательства людей. Защищён может быть любой клиент платформы Workers, в том числе будет обеспечена защита от современных угроз вроде хитро составленных промптов, заставляющих ИИ раскрывать конфиденциальную информацию.
Новые инструменты Defensive AI используют ИИ для защиты корпоративных сетей от атак современного типа, в том числе с помощью других ИИ-систем. Боты анализируют почту, распознают вредоносный код и аномальный трафик. При этом ИИ можно даже обучить моделям поведения реальных пользователей, чтобы выявлять отклонения в паттернах раюоты и разработать стратегию защиты.
С развитием проектов вроде ChatGPT, злоумышленники получили и действенные инструменты для фишинга. Если раньше письма были часто безграмотно составлены и не особенно убедительными, то теперь написать красивый текст помогает ИИ, заставляя жертв делиться паролями и другими конфиденциальными сведениями. В Cloudflare обещают, что Defensive AI позволит быстро распознавать такие угрозы — до того, как сотрудники попадутся на удочку.
Источник: servernews.ru
