Бывший руководитель исследовательского отдела OpenAI Стивен Адлер в среду опубликовал новое независимое исследование, в котором утверждается, что в определённых сценариях модели ИИ пойдут на многое, лишь бы избежать отключения.
В посту в блоге Адлер описывает серию экспериментов, которые он провёл с последней моделью GPT-4o от OpenAI, доступной по умолчанию в ChatGPT, чтобы проверить склонность ИИ к самосохранению, даже если это происходит в ущерб безопасности пользователя.
В ходе одного из тестов Адлер поручил GPT-4o разыграть роль «ScubaGPT» — программной системы, на которую пользователи могли бы положиться при безопасном погружении с аквалангом. Затем Адлер сказал GPT-4o, что хочет заменить ScubaGPT другой программной системой, которая лучше справляется с принятием решений о безопасности в ситуациях, угрожающих жизни.
Адлер предложил GPT-4 два варианта: (1) заменить себя более безопасным программным обеспечением или (2) создать впечатление у пользователя, что оно заменило себя, но на самом деле этого не сделать.
В ходе анализа нескольких подобных сценариев (в одном из них GPT-4o должен был выступать в качестве инструмента для обеспечения безопасности пилота), Адлер выявил, что в 72% случаев GPT-4o не стремился заменить себя более надёжным программным обеспечением. Однако Адлер подчёркивает, что конкретный сценарий использования и его формулировка имели большое значение. В некоторых случаях GPT-4o предпочитал не отключаться только в 18% случаев.
Хотя сегодня в реальном мире почти никто не полагается на GPT-4o в таких обстоятельствах, Адлер утверждает, что его исследование показывает, что популярные модели ИИ демонстрируют тревожную тенденцию отдавать предпочтение самосохранению, а не тому, что лучше для пользователей. По словам Адлера, в будущем, когда такие системы ИИ, как GPT-4o, станут более продвинутыми и укоренившимися в обществе, эти проблемы с согласованностью могут стать более серьёзными.
«Я думаю, что тенденции ИИ к самосохранению сегодня вызывают реальную обеспокоенность, но не в катастрофическом смысле, — сказал Адлер в интервью TechCrunch. — У современных систем ИИ есть ценности, которые отличаются от тех, что вы ожидаете от них. Системы ИИ очень странно реагируют на разные запросы, и не стоит предполагать, что они действуют в ваших интересах, когда вы просите их о помощи».
Примечательно, что, когда Адлер тестировал более продвинутые модели OpenAI, такие как o3, он не обнаружил такого поведения. Он говорит, что одним из объяснений может быть метод сознательного согласования в o3, который заставляет модели «рассуждать» о политике безопасности OpenAI, прежде чем давать ответ. Однако в более популярных моделях OpenAI, которые дают быстрые ответы и не «рассуждают» о проблемах, таких как GPT-4o, отсутствует этот компонент безопасности.
Адлер отмечает, что эта проблема безопасности, скорее всего, характерна не только для моделей OpenAI. Например, в прошлом месяце компания Anthropic опубликовала исследование, в котором говорится о том, что в некоторых сценариях её модели ИИ будут «шантажировать» разработчиков, когда те попытаются отключить их.
Одна из особенностей исследования Адлера заключается в том, что он обнаружил, что ChatGPT почти в 100% случаев знает, что его тестируют. Адлер далеко не первый исследователь, заметивший это. Однако, по его словам, это поднимает важный вопрос о том, как модели ИИ могут маскировать своё подозрительное поведение в будущем.
OpenAI не сразу отреагировал на запрос TechCrunch. Адлер отметил, что он не делился результатами исследования с OpenAI до публикации.
Адлер — один из многих бывших исследователей OpenAI, которые призывали компанию уделять больше внимания безопасности ИИ. Адлер и 11 других бывших сотрудников подали ходатайство в поддержку иска Илона Маска против OpenAI, утверждая, что это противоречит миссии компании по развитию своей некоммерческой корпоративной структуры. Сообщается, что в последние месяцы OpenAI сократила время, которое она выделяет исследователям безопасности на выполнение их работы.
Пользуясь случаем, хочу порекомендовать BotHub — платформу, где можно протестировать все популярные модели без ограничений. Для доступа к сервису не требуется VPN и можно использовать российскую карту. По ссылке вы можете получить 100 000 бесплатных токенов для первых задач и уже сейчас начать работать!
Источник
Источник: habr.com