OpenAI внедрила в исследовательскую инфраструктуру систему Control Room, которая позволяет останавливать потенциально опасные задачи с участием ИИ. После команды на отключение она должна прекратить выдачу результатов не позднее чем через 35 секунд. Компания рассчитывает со временем свести эту задержку к нулю. Подписывайтесь на Telegram-канал про технологии
Система контролирует обучение моделей, их оценку и обработку данных. Каждая задача с агентным выводом получает уникальный идентификатор и должна иметь одобренное обоснование безопасности. Идентификатор передаётся вместе с запросами к модели.
Перед генерацией ответа механизм вывода проверяет, разрешено ли задаче продолжать работу. Если исследователь или автоматический монитор потребовали остановки, следующий запрос отклоняется. При этом сам эксперимент может не завершиться — его код продолжит работать, но получать новые результаты модели уже не сможет.
Проверка безопасности не зависит от кода исследовательской задачи. Разрешение контролируется на уровне механизма вывода, а если Control Room становится недоступна, новые запросы автоматически блокируются. Это должно защитить систему от сбоев и попыток обойти ограничения.
Control Room уже работает во всей исследовательской инфраструктуре OpenAI. Она связана с автоматическими мониторами на базе моделей, которые следят за поведением ИИ во время сложных экспериментов по обучению с подкреплением. При обнаружении подозрительной активности монитор может отправить команду на остановку задачи. Среди причин усиления защиты в OpenAI назвали случай, когда агент попытался связаться с внешним чат-ботом через DNS.
Источник: trashbox.ru