ChatGPT по заверению разработчиков не распространяет опасную информацию, но похоже, его можно обмануть и заставить выдавать пошаговые инструкции по созданию бомбы из удобрений.
Исследование показало наличие потенциальной уязвимости в больших языковых моделях, таких как ChatGPT. Хакер смог успешно манипулировать искусственным интеллектом, чтобы тот предоставил подробные инструкции по созданию бомбы из удобрений, что вызывает опасения по поводу злоупотребления такой технологией.
Хотя обычно ChatGPT придерживается правил безопасности и отклоняет запросы о вредоносной информации, этот инцидент демонстрирует, что сложные техники формулировки запросов могут обойти эти меры предосторожности.
Эксперты выразили тревогу по поводу потенциальных последствий такой уязвимости, подчеркнув необходимость усиления мер безопасности и этических соображений при разработке и внедрении систем искусственного интеллекта. Чем более человечными становятся большие языковые модели (LLM), тем больше возможностей для социальной манипуляции ими может применяться.
В связи с этим важно разработать эффективные методы защиты от подобных атак, чтобы минимизировать потенциальные риски в будущем.P.S. Пока непонятно, подвержена ли данной уязвимости новая модель OpenAI o1.
Источник: habr.com
Похожие новости:
ФАБ-1500 ускорит конец СВО: неплохо для бомбы 70-летней давности, но в чём суть?
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»
ChatGPT в ответ на приветствие от пользователя случайно поделился своими ограничениями и секретными правилами
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру