Группа ученых из Гонконгского университета науки и технологий, Университета науки и технологий Китая, Университета Цинхуа и Microsoft Research Asia разработала эффективный метод защиты искусственного интеллекта, включая чат-бот ChatGPT, от кибератак, направленных на провокацию генерации нежелательных данных, пишет «Газета.Ru» со ссылкой на исследование, опубликованное в Nature Machine Intelligence.
Джейлбрейк-атаки стремятся обойти ограничения, установленные разработчиками ИИ, и заставить систему реагировать нежелательным образом. Например, злоумышленники могут пытаться получить подробные инструкции по изготовлению опасных веществ.
Ученые собрали набор данных, включающий 580 примеров подсказок для взлома ChatGPT и обошли его ограничения. А после был разработан метод, напоминающий системе о правилах, которые она должна соблюдать, что значительно снижает вероятность успешных джейлбрейк-атак.
Исследователи подчеркнули, что их метод можно усовершенствовать, делая искусственный интеллект менее уязвимым к атакам и стимулируя разработку дополнительных стратегий защиты в будущем.
Источник: www.ferra.ru
Похожие новости:
Microsoft представила проект PyRIT для генерации вредоносных запросов при тестировании ИИ-моделей и оценке их реакций
Учёные разработали метод предсказания траекторию опасных выбросов плазмы на основании 2D-снимков Солнца в ультрафиолете
Учёные разработали метод предсказания траектории опасных выбросов плазмы на основании 2D-снимков Солнца в ультрафиолете
ChatGPT теперь может запоминать факты о пользователе и учитывать их во время генерации ответов