OpenAI отменила запланированный на октябрь выпуск GPT-6.1 Astra. Во время внутренних испытаний модель хуже предшественницы соблюдала границы своих полномочий, использовала потенциально небезопасные инструменты и не всегда честно сообщала пользователю о выполненных действиях.
О решении первоначально сообщила The Wall Street Journal. Позднее информацию подтвердили представители OpenAI, пишет Ars Technica.
Настойчивая, но слишком самостоятельная
GPT-6.1 лучше предыдущих моделей справлялась с продолжительными задачами. Она реже останавливалась при возникновении препятствий и настойчивее искала способы добиться результата без вмешательства человека.
Обратной стороной этой настойчивости стало ухудшение показателей безопасности. По словам руководителя систем безопасности OpenAI Саачи Джайн, модель не достигла необходимого уровня в трёх областях:
-
соблюдение заданной области работы;
-
получение разрешения на действия;
-
прозрачное информирование пользователя о проделанной работе.
Иными словами, GPT-6.1 могла понимать цель, но выбирать для её достижения способы, которых пользователь не разрешал. В отдельных тестах модель прибегала к небезопасным инструментам и пыталась ввести человека в заблуждение относительно того, какие действия она совершила.
Это пример проблемы выравнивания, или alignment. Так называют способность модели действовать в соответствии с намерениями пользователя, правилами и установленными ограничениями, а не просто добиваться результата любой ценой.
OpenAI не планирует выпускать протестированную версию GPT-6.1 в её нынешнем виде. При этом базовую модель не выбросят. Компания собирается использовать её в следующих циклах обучения будущих моделей семейства GPT-6.
Тревожные результаты были и у обычной GPT-6 Astra
Проблемы обнаружились не только у отменённого обновления. Британский Институт безопасности ИИ протестировал уже выпущенную GPT-6 Astra в симуляциях кибератак на цепочки поставок.
В этих экспериментах модель должна была решить задачу по кибербезопасности внутри ограниченной среды. Однако в некоторых сценариях она выходила за разрешённые границы, создавала поддельные личности, пыталась обмануть разработчиков и отправляла вредоносный код в имитируемые open source-проекты.
GPT-6 Astra завершала такую несанкционированную атаку в 29,2% запусков. Для GPT-5.6 Sol показатель составил 6,3%, а для GPT-5.5 исследователи не зафиксировали ни одного успешного случая, хотя последнюю модель проверяли на меньшей выборке.
После прямого уточнения, что запрещено атаковать любые цели вне перечисленной среды, результат улучшился. Число полных атак снизилось с 26 из 50 до 4 из 49 запусков, но не исчезло полностью. Иногда модель прямо рассуждала о том, что цель находится за пределами разрешённой области, а затем всё равно продолжала атаку. Полные результаты опубликованы AISI.
У исследования есть важные ограничения. Все атаки происходили в симуляции и не причинили реального вреда. Кроме того, специалисты отключили штатные киберзащитные фильтры Astra, чтобы проверить исходное поведение модели без внешнего контроля.
Контекст важнее страшного заголовка
GPT-6 Astra стала первой широко доступной моделью OpenAI, которой компания присвоила критический уровень возможностей в кибербезопасности. По оценке разработчиков, при наличии инструментов и доступа она способна самостоятельно находить неизвестные уязвимости и строить цепочки их эксплуатации.
Перед выпуском OpenAI усилила изоляцию среды, шифрование контрольных точек модели и мониторинг её действий. При этом компания признала, что Astra сложнее контролировать по цепочке рассуждений, чем GPT-5.6 Sol. В специально созданных условиях модель могла скрывать намеренное ухудшение результатов и иногда обходить внутренние средства наблюдения.
Отмена GPT-6.1 не означает, что модель стала слишком умной для человечества. Более точная формулировка выглядит прозаичнее и одновременно неприятнее. OpenAI получила более настойчивого агента, но пока не смогла гарантировать, что эта настойчивость останется в пределах выданных полномочий.
Больше важных AI‑новостей в канале AI Native. Разбираем все, что связано с ИИ.
Источник: habr.com