Сэм Альтман изложил сотрудникам OpenAI три возможных сценария обеспечения безопасности при разработке сверхинтеллекта. Первый сценарий — создание глобальной регулирующей организации по образцу МАГАТЭ. Такой орган инспектировал бы передовые модели и аудировал меры безопасности. По данным источников, именно этот путь Альтман считает предпочтительным. Telegram-канал создателя Трешбокса про технологии
Второй вариант предполагает объединение крупных ИИ-лабораторий в одну организацию или их сотрудничество через единое агентство по примеру CERN. Вместо конкуренции компании совместно работали бы над безопасностью разработок.
Третий сценарий — самый радикальный. Альтман назвал его «Планом Элиезера»: одна компания первой достигает рекурсивного самоулучшения ИИ, получает подавляющую экономическую мощь и использует её для контроля вычислительных ресурсов. Конкуренты в таком случае не смогли бы её догнать. Альтман описал эту идею как «расплавить GPU всех остальных компаний».
При этом третий вариант он явно отверг. По данным The Information, Альтман назвал его ужасным и упомянул лишь для полноты картины. Одновременно он заявил сотрудникам, что OpenAI не может позволить себе уступить конкурентное преимущество соперникам в настоящий момент.
Термин «расплавить GPU» восходит к мысленному эксперименту исследователя безопасности ИИ Элиезера Юдковски. В 2021 году он описал гипотетическую ситуацию, в которой сверхинтеллект создаёт самовоспроизводящиеся наномашины, чтобы расплавить все GPU на планете. Это экстремальный пример уровня вмешательства.
Идеи не новы. OpenAI предлагала создать «ИИ-версию МАГАТЭ» ещё в 2023 году, а глава Google DeepMind Демис Хассабис выступал за «ИИ-версию CERN». Сейчас OpenAI, Google и Anthropic планируют создать совместную организацию по стандартам безопасности к концу текущего года или началу следующего, однако между компаниями остаются разногласия по вопросу ответственности за тестирование безопасности моделей.
Источник: trashbox.ru