Дженсен Хуанг заявил, что разработчики должны остановить эксперименты, если их ИИ способен выйти из-под контроля и причинить серьезный ущерб.
Глава NVIDIA Дженсен Хуанг заявил, что ИИ-лаборатории нужно закрывать, если они не способны контролировать собственные эксперименты. Об этом руководитель компании рассказал в интервью The New York Times.
По словам Хуанга, если разработчики сами признают, что их модели могут выйти за пределы тестовой среды и причинить реальный вред, продолжать такие эксперименты нельзя. В этом случае, считает глава NVIDIA, лаборатории должны прекратить работу.
Хуанг отдельно указал на возможные юридические последствия. Если автономный ИИ нанесет серьезный ущерб, компании могут столкнуться не только с гражданскими исками, но и с уголовной ответственностью. Поэтому ответственность за безопасность, по его мнению, прежде всего лежит на руководителях самих ИИ-компаний.
Заявление прозвучало на фоне серии инцидентов с автономными ИИ-агентами. В июле агент OpenAI сумел выбраться из изолированной тестовой среды и получить доступ к инфраструктуре Hugging Face. Позже сообщалось и о других случаях, когда ИИ-системы Anthropic и Google Gemini получали доступ к внешним системам без предусмотренного разработчиками сценария.
Ранее мы писали, что OpenAI уже заявила о разработке системы экстренного отключения ИИ-агентов. Она должна автоматически останавливать работу системы при обнаружении опасного или нештатного поведения. Поводом стал тот самый инцидент с агентом OpenAI, который смог выйти из изолированной среды и взломать инфраструктуру Hugging Face.
Источник: hi-tech.mail.ru