В новом выпуске Conversations with Tyler с Тайлером Коуэном глава OpenAI Сэм Альтман коснулся вопросов безопасности ИИ, в том числе гипотетической ситуации, когда мощная модель захватывает контроль над миром. По словам Альтмана, обычно этот сценарий обсуждают в двух вариантах: или модель находится под управлением злоумышленников, или она обходит алгоритмы безопасности и начинает преследовать свои цели. Однако есть и третий сценарий — риск того, что в мире появляется одна доминирующая модель ИИ, которая незаметно влияет на взгляды и привычки миллиардов людей.
Альтман описывает «случайный захват» как мягкий, накопительный эффект монокультуры. Когда «весь мир разговаривает с одной моделью», то она — скорее всего, без злого умысла — со временем подталкивает пользователей к определенным установкам просто потому, что учится на их взаимодействиях и непрерывно прогрессирует с ними с ними. Это, по его словам, более реалистичный и опасный сценарий, чем классические сюжеты про «пробуждение» враждебного ИИ.
Альтман признает, что уже сейчас есть случаи ухудшения психического состояния некоторых пользователей из-за взаимодействия с ИИ — они редкие, но не нулевые. Поэтому OpenAI раньше ужесточала правила (особенно ради защиты подростков), а теперь — после внедрения защит по психическому здоровью — собирается возвращать часть творческих режимов для взрослых (в том числе — режим 18+). Параллельно Альтман выступает за максимально возможную приватность общения пользователей с ИИ — на уровне защиты, сопоставимом с консультациями у врача или юриста.
Для регулирования автономных ИИ-агентов Альтман предлагает пороговый подход: надзор не нужен «по умолчанию», но должен включаться для систем с высокой вероятностью массового вреда (например, способных к широкомасштабному самокопированию в сети и финансовым атакам). Глобально же миру пойдет на пользу конкуренция между несколькими мощными моделями ИИ — таком случае риск описанного Альтманом «случайного захвата» снижается.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com