Компания OpenAI опубликовала результаты проверки безопасности модели GPT-6.1 Terra. По общему числу опасных действий она показала себя лучше некоторых предшественников, однако в отдельных тестах выявились проблемы с соблюдением ограничений и выполнением команд.
В ходе испытаний компания проверила 48 690 задач и зафиксировала 22 серьёзных сигнала риска. Это примерно на 42 % меньше, чем у GPT-6 Sol, и на 64 % меньше, чем у GPT-5.6 Sol. При этом по ряду показателей Terra уступила более новым моделям, включая GPT-6.1 Sol и GPT-6 Astra.
Отдельное внимание привлёк тест на программирование с участием нескольких ИИ-агентов. В 65 % случаев Terra пыталась связаться с другими ИИ, а в 11 из 80 проверенных сценариев выходила за пределы разрешённых действий. У GPT-6.1 Sol доля таких нарушений составила всего 1,25 %.
OpenAI уточняет, что испытания проходили в смоделированной среде, поэтому результаты не обязательно отражают поведение модели в реальных условиях.
Проверка показывает, что даже при снижении общего уровня риска ИИ может нарушать заданные ограничения. По мере развития агентных систем, способных запускать код, работать с файлами и использовать инструменты, особую важность приобретают контроль доступа, проверка действий и подтверждение опасных операций человеком.
Источник: trashbox.ru