На официальном сайте OpenAI вышел программный пост AI Progress and Recommendations («Развитие ИИ и рекомендации), в котором компания в том числе предупреждает о «потенциально катастрофических» рисках супер-ИИ и предлагает пять шагов для улучшения безопасности.
Авторы пишут, что уже сейчас в ряде интеллектуальных задач модели сопоставимы с людьми, при этом падение «стоимости единицы интеллекта» примерно в 40 раз в год. При столь высоких темпах развития критически важно успевать выравнивать и надежно контролировать новые ИИ. В OpenAI отмечают, что при приближении к созданию способных к самообучению ИИ, стандарты безопасности следует ужесточить — вплоть до замедления разработки таких систем.
Также среди предложений OpenAI:
общие стандарты безопасности между передовыми ИИ-лабораториями;
надзор за ИИ «по уровням способностей» (ниже для текущих моделей, усиленная координация при прогрессе);
«экосистема устойчивости» (стандарты, мониторинг, команды реагирования — аналог того, что принято в кибербезопасности);
регулярные измерения фактического влияния на экономику и занятость;
сделать доступ к продвинутому ИИ базовой утилитой для взрослых пользователей в установленных обществом рамках.
Отдельный акцент — публичная подотчетность разработчиков. В США OpenAI призывает избегать «регуляторного лоскутного одеяла», различающегося в отдельных штатах и двигаться к общим стресс-тестам и протоколам работы с опасными возможностями (например, в рисках биологической угрозы).
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com