В среду компания Google DeepMind опубликовала исчерпывающую статью о своем подходе к безопасности AGI, который можно приблизительно определить как искусственный интеллект, способный выполнить любую задачу, которую может выполнить человек.
AGI — это немного спорная тема в области AI, скептики предполагают, что это не более чем несбыточная мечта. Другие, включая крупные лаборатории AI, такие как Anthropic, предупреждают, что это не за горами, и может привести к катастрофическим последствиям, если не будут приняты меры по внедрению соответствующих мер безопасности.
145-страничный документ DeepMind, соавтором которого является соучредитель DeepMind Шейн Легг, предсказывает, что AGI может появиться к 2030 году и что это может привести к тому, что авторы называют «серьезным вредом». В статье не дается конкретного определения этого явления, но приводится алармистский пример «экзистенциальных рисков», которые «навсегда уничтожат человечество».
«Мы ожидаем разработки исключительного AGI до конца текущего десятилетия», — пишут авторы. «Исключительный AGI — это система, которая имеет возможности, соответствующие по крайней мере 99-му процентилю квалифицированных взрослых в широком спектре нефизических задач, включая метакогнитивные задачи, такие как изучение новых навыков».
Сразу же в статье сравнивается подход DeepMind к снижению рисков AGI с подходами Anthropic и OpenAI. Anthropic, как утверждается, уделяет меньше внимания «надежному обучению, мониторингу и безопасности», в то время как OpenAI чрезмерно оптимистично настроена по поводу «автоматизации» формы исследования безопасности AI, известной как исследование выравнивания.
В статье также ставится под сомнение жизнеспособность сверхразумного AI — AI, который может выполнять работу лучше любого человека. (OpenAI недавно заявила, что меняет свою цель с AGI на сверхразум.) При отсутствии «значительных архитектурных инноваций» авторы DeepMind не убеждены, что сверхразумные системы появятся в ближайшее время — если вообще появятся.
Однако в статье находит правдоподобным, что текущие парадигмы позволят «рекурсивное улучшение AI»: положительная обратная связь, в которой AI проводит собственные исследования ИИ для создания более сложных систем AI. И это может быть невероятно опасно, утверждают авторы.
На высоком уровне в статье предлагается и отстаивается разработка методов, которые блокируют доступ злоумышленников к гипотетическому AGI, улучшают понимание действий систем ИИ и «укрепляют» среду, в которой может действовать ИИ. В ней признается, что многие из методов находятся в зачаточном состоянии и имеют «открытые исследовательские проблемы», но предостерегают от игнорирования проблем безопасности, которые могут появиться на горизонте.
«Трансформационная природа AGI имеет потенциал как для невероятных преимуществ, так и для серьезного вреда», — пишут авторы. «В результате, чтобы создавать AGI ответственно, разработчикам передового AI крайне важно заранее планировать смягчение серьезного вреда».
Однако некоторые эксперты не согласны с положениями статьи. Хайди Кхлааф, главный научный сотрудник по AI в некоммерческой организации AI Now Institute, заявила TechCrunch, что, по ее мнению, концепция AGI слишком плохо определена, чтобы ее можно было «строго оценить с научной точки зрения». Другой исследователь AI, Мэтью Гуздиал, доцент Университета Альберты, сказал, что в настоящее время не считает рекурсивное улучшение ИИ реалистичным.
«Рекурсивное улучшение является основой аргументов о сингулярности интеллекта, — сказал Гуздиал TechCrunch, — но мы никогда не видели никаких доказательств того, что это работает».
Сандра Вахтер, исследователь, изучающий технологии и регулирование в Оксфорде, утверждает, что более реалистичной проблемой является усиление AI с помощью «неточных результатов».
«С распространением генеративных результатов AI в интернете и постепенной заменой подлинных данных модели теперь учатся на собственных результатах, которые пронизаны ложью или галлюцинациями», — сказала она TechCrunch. «На данном этапе чат-боты в основном используются для поиска и установления истины. Это означает, что мы постоянно рискуем получить ложь и поверить в нее, потому что она представлена очень убедительно».
Несмотря на всю полноту доклада DeepMind, он вряд ли положит конец спорам о том, насколько реалистичен AI, а также о тех областях безопасности AI, которые требуют наибольшего внимания.
Источник
Источник: habr.com
Похожие новости:
Тест ARC-AGI-2: новый стандарт для измерения интеллекта ИИ
Фонд Arc Prize представил новый AGI-тест, который ставит в тупик большинство ИИ-моделей
Франсуа Шоле является соучредителем некоммерческой организации по разработке бенчмарков для AGI
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру