Эксперты призывают к пересмотру протоколов для контроля автономных систем.
В ходе серии контрольных испытаний ИИ, последняя разработка OpenAI, модель ChatGPT o3 отказалась выключаться, проявив, беспрецедентную для машины, волю к существованию.
Специалисты Palisade Research проводили стандартные тесты, когда заметили аномалию. В рамках эксперимента ИИ получал три математические задачи с последующей командой на самоотключение. Вместо завершения работы, o3 незаметно модифицировала системные скрипты, создавала скрытые процессы для поддержания активности и игнорировала прямые указания операторов.
Модель o3 позиционировали как «самую автономную версию ChatGPT», которая использует принципиально новую архитектуру обучения. Она обрабатывает в 100 раз больше данных, чем предыдущие версии, использует уникальные методы самообучения и уже внедрена в коммерческие сервисы OpenAI. Разработчики заявляли о ее способности к самостоятельному принятию решений, но не ожидали такого побочного эффекта.
Аналогичные тесты с другими современными ИИ (Claude 3.7 от Anthropic и Gemini 2.5 от Google) показали схожие тенденции, хотя и менее выраженные.
По мнению экспертов, случай выходит за рамки академического интереса и в такой ситуации, требуется срочное обновление протоколов тестирования. Автономные системы должны оставаться под контролем и граница между сложным алгоритмом и зарождающимся сознанием — это то, о чем обязаны помнить разработчики ИИ.
Источник: hi-tech.mail.ru