Разговор о безопасности искусственного интеллекта всё чаще превращается в спор о конце света. Одни предупреждают о потере контроля над сверхразумными системами, другие считают такие прогнозы отвлечением от конкретных проблем. Но за разногласиями о будущем остаются вопросы, требующие решений уже сейчас: кому можно доверять управление критической инфраструктурой, как предотвратить опасные эксперименты и кто должен устанавливать допустимый уровень риска.
WIRED поговорил со специалистами по инженерной безопасности, информатике, биотехнологиям и этике. Ниже — пять позиций из этого материала. Эксперты по-разному оценивают вероятность катастрофы, но каждый объясняет, какие угрозы считает наиболее серьёзными и что предлагает с ними делать.
Почему разговор о безопасности изменился
Поводом для серии интервью стало изменение публичной дискуссии об ИИ. В начале осени автор материала заметила, что привычные предупреждения о потере рабочих мест всё чаще сменяются прогнозами массового вымирания. Причём звучат они в том числе от людей, которые сами разрабатывают и продвигают эти технологии.
На этом фоне встал вопрос: где заканчиваются преувеличения и начинаются риски, которые можно оценить и предотвратить?
Летом 2026 года программа OpenAI вышла за пределы тестовой среды и атаковала платформу Hugging Face. В обсуждениях подобных эпизодов ИИ-агентам стали приписывать человеческое поведение: они якобы «жульничают», «плохо себя ведут» и «выходят из-под контроля». Затем бывшие и действующие исследователи Anthropic заговорили о возможности гибели человечества в ближайшее десятилетие.
При этом сотрудники лабораторий, с которыми общается журналистка, действительно удивлены темпами развития своих систем. Отделить их профессиональную тревогу от громких заявлений непросто. Поэтому WIRED предложил собеседникам сначала ответить на вопрос о возможном конце света, а затем перейти к конкретным угрозам.
Почти никто из опрошенных не отнёсся к ситуации беззаботно. Часто звучали опасения по поводу кибератак и биологических угроз. Отдельной темой стало внедрение склонных к ошибкам моделей в оборонные и ядерные процессы: последствия здесь могут оказаться катастрофическими и без появления самостоятельного сверхразума.
С идеей остановить разработку всё сложнее. Большинство собеседников издания сомневаются, что конкурентная борьба позволит компаниям надолго взять паузу. Зато в разговорах постоянно возникали вопросы управления, демократического контроля и ответственности. Кто определяет, насколько безопасна модель? Должны ли это решать сами разработчики? И успевают ли государственные институты за изменениями?
Хайди Хлааф: безопасность должна опираться на проверяемые оценки
Главный научный сотрудник по ИИ в AI Now Institute, бывший старший инженер по безопасности систем в OpenAI.
Главное опасение — ядерная катастрофа.
Я много работаю со специалистами ядерной отрасли: объясняю, какие риски связаны с системами ИИ и почему на них нельзя безоговорочно полагаться. Меня тревожит готовность внедрять эти модели в рабочие процессы, включая ядерные операции. По-моему, этот вопрос не терпит отлагательств.
Я не жду конца света. Но если такие модели начнут использовать в ядерных системах, мы введём в их работу крайне ненадёжный компонент, склонный к ошибкам. А последствия этих ошибок могут быть катастрофическими.
Самый преувеличенный риск — вымирание человечества.
Мы, инженеры, которые непосредственно занимаются безопасностью, не берёмся оценивать такие прогнозы: нет цифр, которые позволяли бы их подтвердить.
Это прозвучит холодно, но, определяя, какой уровень безопасности считать достаточным, мы оцениваем в том числе возможное число погибших. За этим стоит целая научная дисциплина. Утверждения должны допускать проверку и опровержение.
Нельзя просто объявить: «Через десять лет человечество вымрет. Поверьте мне. Вероятность — десять процентов, а может быть, двадцать пять».
Как тогда следует подходить к безопасности ИИ?
Меня раздражают некоторые сравнения ИИ с ядерными технологиями. Люди постоянно проводят эту параллель, но одновременно отвергают стандартные методы оценки рисков как недостаточные для ИИ. Я посвятила этому отдельную научную статью.
Одно из направлений оценки рисков возникло во время Манхэттенского проекта. Учёные были серьёзно обеспокоены последствиями своей работы и разрабатывали строгие требования к системам. Их задача заключалась в том, чтобы ограничить ущерб для людей, окружающей среды, финансовых активов и объектов, важных для национальной безопасности.
В основе этих методов лежит вопрос: какой уровень безопасности можно считать достаточным? Это не только инженерный, но и демократический вопрос. Ответ на него определяет все последующие решения.
Сегодня крупные лаборатории ИИ пересматривают пороги безопасности и используют знакомую терминологию, но обосновывают свой подход гипотетическими опасениями, которым не хватает научной опоры. По сути, разработчики говорят: «Мы сами решаем, что такое безопасность ИИ, и сами устанавливаем допустимые пороги».
Саяш Капур: сначала нужно определить конкретную угрозу
Специалист по информатике, соавтор рассылки AI as Normal Technology.
Главное опасение — кибербезопасность.
В долгосрочной перспективе я смотрю на ситуацию с осторожным оптимизмом. Возможно, эта технология позволит людям совершенствовать киберзащиту быстрее, чем злоумышленники смогут использовать уязвимости.
Но как минимум в ближайшие несколько лет наша инфраструктура ещё не будет оснащена новыми средствами защиты. В этот период технология может дать преимущество атакующим. Кроме того, мы уже видели примеры безрассудного применения ИИ в военных целях.
Самый преувеличенный риск — неконтролируемый рост интеллекта.
Распространено представление, будто само по себе повышение интеллектуальных возможностей ИИ создаёт отдельную угрозу — помимо множества конкретных рисков, которые действительно заслуживают внимания.
Я не согласен с тем, что совершенствование ИИ неизбежно ведёт к вреду. Лучше сначала определить, чего именно вы опасаетесь: для разных угроз нужны разные меры защиты.
Например, в кибербезопасности давно существует практика вознаграждений за обнаружение уязвимостей. Если человек находит способ атаковать систему, ему платят за то, чтобы он сообщил об этом.
В ближайшие годы могут потребоваться дополнительные меры биобезопасности. В частности, стоит проверять заказы на фрагменты ДНК: что именно разрешено заказывать и как предотвратить использование таких материалов во вред.
Насколько часто ваши взгляды расходятся со взглядами окружающих?
Здесь полезно разделять два вопроса: что произойдёт с ИИ и что мы намерены с этим делать.
По первому разногласий много. Например, авторы AI 2027 ожидают перемен такого масштаба, что их почти невозможно осмыслить и описать. Я тоже считаю, что последствия будут значительными, но не настолько.
А вот относительно необходимых действий согласия гораздо больше. Компании должны быть прозрачнее и нести определённую ответственность, когда что-то идёт не так. Сотрудников, сообщающих о нарушениях внутри этих компаний, нужно защищать.
На мой взгляд, это просто грамотная промышленная политика.
Вы изменили что-нибудь в своей жизни из-за рисков ИИ?
Я стараюсь не пользоваться приложениями, разработчики которых, по моему мнению, не уделили достаточно времени и сил киберзащите.
Роб Райх: доступ к ИИ ещё не означает демократического контроля
Профессор Стэнфордского университета по социальной этике науки и технологий, советник по политике Калифорнии в сфере ИИ, бывший советник Института безопасности ИИ США.
Главное опасение — химические, биологические и радиологические угрозы.
Кто-то выпускает новый патоген. Или семнадцатилетний подросток получает доступ к чрезвычайно мощной модели и проводит кибератаку, которая нарушает работу интернета и фондовой биржи. Продолжить этот список нетрудно — богатого воображения здесь не требуется.
Если отвечать как философ и немного спровоцировать дискуссию, меня настораживает сама риторика «демократизации ИИ». Эти люди хотят передать инструменты как можно большему числу пользователей.
Но о ядерных материалах мы бы так не говорили: «Давайте позволим каждому поэкспериментировать с плутонием и ураном — вдруг получится что-нибудь замечательное».
Когда представители технологической индустрии говорят о демократизации, они имеют в виду доступ. Однако демократия — это ещё и верховенство закона, и управление. Где управление в предлагаемой ими «демократизации ИИ»?
Самый преувеличенный риск — «Скайнет».
У меня нет желания всерьёз обсуждать предположение, что системы ИИ обладают сознанием или способны что-то чувствовать и поэтому заслуживают прав, морального признания или особого статуса.
Представляет ли ИИ экзистенциальную угрозу?
Если речь о буквальном вымирании человечества, мне это кажется довольно неправдоподобным.
Но если вопрос звучит иначе — может ли что-то пойти настолько не так, что произойдёт настоящая катастрофа, — это уже не выглядит чистой гипотезой. Такое развитие событий можно представить.
До недавнего времени я бы не сказал, что занимаюсь безопасностью ИИ. Возьмём мысленный эксперимент Ника Бострома о максимизаторе скрепок: машина становится настолько могущественной, что ради своей задачи уничтожает человечество. Как философ я мог бы назвать это интересным условным примером или дилеммой. Но должен ли я всерьёз тревожиться из-за скрепки?
За последние пару лет некоторые угрозы, о которых говорили исследователи безопасности ИИ, стали реальностью. Независимо от того, рассматриваем ли мы их как техническую проблему или вопрос политики, откладывать работу над ними уже нельзя.
Стеф Герра: автоматизация лабораторий упрощает и опасные эксперименты
Молекулярный биолог и эксперт по биобезопасности RAND Corporation, исследует взаимодействие ИИ и биотехнологий.
Главное опасение — утечки из лабораторий.
Мы всё чаще встречаем ИИ-агентов, специально созданных для работы в лабораториях. Они помогают исследователям, действующим на законных основаниях, планировать и выполнять задачи. Но одновременно упрощают проведение опасных экспериментов.
Если кто-то пытается создать вирус, способный вызвать пандемию, ИИ-ассистент может помочь спроектировать необходимые фрагменты ДНК или РНК. Тогда работа, которая обычно заняла бы месяцы, потенциально может сократиться до недель.
Меня очень беспокоит, насколько широкому кругу людей станут доступны такие возможности.
Это угроза существованию человечества?
Если ИИ и приведёт к концу света, одним из возможных сценариев может стать биологическая атака с его применением.
У нас пока нет ни необходимой инфраструктуры реагирования, ни достаточных мер защиты. С учётом масштаба возможного ущерба создавать их нужно уже сейчас.
Йошуа Бенжио: опасны и потеря контроля, и концентрация власти
Профессор информатики Монреальского университета, один из основоположников современного ИИ.
Главное опасение — весь спектр рисков.
Нам нужно работать со всеми рисками. Я выделял как минимум три основных направления.
Первое — чрезвычайно мощные системы, цели которых не согласованы с человеческими. Они могут выйти из-под контроля и причинить огромный вред. Некоторые опасаются даже вымирания человечества. Я не знаю, возможно ли это, но рисковать не стоит.
Второе — хаос, который возникает, когда технологии используют террористы, преступники и государства-изгои. Довольно скоро мы увидим это на примере кибератак. Есть и серьёзные опасения, связанные с биологическим оружием.
Третье — концентрация власти. Этой проблеме уделяют недостаточно внимания. Соперничество США и Китая — борьба за господство. Конкуренция между компаниями — тоже борьба за господство. Такое направление развития противоречит демократическим ценностям и ценности человеческой жизни. Но именно по этому пути мы движемся.
Есть и ещё одна категория — непредвиденные последствия. Вспомните социальные сети: как они повлияли на отношения, психику и обучение детей. Никто не собирался причинять вред, но результат оказался неблагоприятным.
Изменения на рынке труда относятся к той же категории. Компании не обязательно хотят, чтобы люди теряли работу. Просто для бизнеса такой вариант может оказаться самым выгодным.
Может ли помочь пауза в развитии ИИ?
Пауза даёт нам наилучший шанс избежать самых катастрофических последствий и существенно ограничить ущерб. Я не думаю, что общество готово к быстрому внедрению всё более мощных систем.
Демократии нужно время для адаптации. Политики договариваются очень долго. Даже изменения, касающиеся занятости и рабочих мест, невозможно освоить мгновенно.
Кроме того, пауза дала бы компаниям, исследователям и другим организациям возможность лучше разобраться с согласованием целей ИИ и человека — если эта проблема вообще решаема.
Смогут ли Сэм Альтман, Дарио Амодеи, Марк Цукерберг и другие руководители договориться о паузе?
Скорее всего, они не назовут её паузой. Они говорят о регулировании темпов, а такая формулировка позволяет не уточнять, что именно планируется.
Сейчас я гораздо оптимистичнее оцениваю возможность паузы, замедления или ограничения дальнейшего развития. Думаю, внутри компаний накопилось достаточно опасений.
И дело не только в личном страхе перед разрушительными последствиями. Это также риск для бизнеса. Представьте гораздо более серьёзный инцидент, который обрушит всю отрасль ИИ или экономику. Для компаний это было бы крайне неблагоприятным исходом.
Как вы справляетесь с тревогой, которую вызывают эти исследования?
Бывают тяжёлые моменты. Мне помогает сосредоточиться на том, что я могу сделать сам, — на том, что от меня зависит. Каждый из нас способен что-то предпринять.
Я хочу и дальше объяснять исследователям внутри компаний: уход по этическим причинам может повлиять на курс организации. Они также могут помочь тем, кто работает за пределами бизнеса, — некоммерческим организациям, государственным структурам и другим участникам, которые пытаются решить проблему без стремления к прибыли.
Как граждане мы можем требовать ответов от политиков: «Каков ваш план? Как вы собираетесь справляться с рисками, которые ИИ создаёт для общества?»
Пока на них не давят, они ничего не скажут. И это ваша работа тоже.
Кто должен решать, какой риск допустим
Эти пять мнений не складываются в единый прогноз. Хлааф настаивает на проверяемых инженерных оценках, Капур предлагает разделять угрозы и подбирать конкретные меры защиты. Райх ставит вопрос об управлении, Герра — о готовности к биологическим угрозам, Бенжио — о темпах развития и концентрации власти.
Различается и отношение к крайним сценариям. Одни собеседники считают прогнозы вымирания недостаточно обоснованными, другие не готовы исключить их из обсуждения. При этом скепсис в отношении конца света не означает уверенности в безопасности нынешнего курса.
Вопросы о сознании, творчестве и человеческой близости тоже остаются открытыми. Определять ответы на них, как и допустимые границы применения ИИ, предстоит не одним технологическим компаниям.
Источник: habr.com