OpenAI частично приостановила разработку модели Astra после того, как внутренние тесты продемонстрировали значительный прогресс в сфере автономного программирования и кибербезопасности.
В компании не исключают, что возможности модели могут приблизиться к критическому уровню угроз, определенному в своде правил Preparedness Framework. На этом фоне разработчики усилили проверку надежности и меры предосторожности перед потенциальным запуском обновленного функционала. Внутренние работы над Astra, которые пока не соответствуют новым стандартам безопасности, были временно заморожены.
Отдельно в OpenAI пояснили, как именно отслеживаются опасные сценарии. Для Astra внедрили универсальный мониторинг рискованных действий и системных отклонений во всех агентных приложениях, включая этапы обучения и оценки.
Логотип OpenAI
Критическим порогом в компании считают уровень, при котором модель способна самостоятельно находить и создавать рабочие эксплойты нулевого дня (zero-day), а также планировать и проводить комплексные кибератаки. В данном контексте решение о паузе выглядит не технической формальностью, а осознанной попыткой предотвратить риски реального злоупотребления технологией.
В OpenAI также уточнили, что Astra не имеет отношения к недавнему инциденту с инфраструктурой Hugгия Face. При этом решение о приостановке последовало вскоре после того, как другие ИИ-модели компании случайно скомпрометировали защиту этой платформы.
Ранее OpenAI изменила поведение ChatGPT, после чего нейросеть стала отвечать короче и реже ошибаться.
Замедлять собственную ИИ-модель из-за риска кибератак — это разумная осторожность или слишком жёсткая мера?
НовостиЖелезо и технологииOpenAIнейросетиискусственный интеллект
Источник: vgtimes.ru