Anthropic предупредила, что ускоренное развитие ИИ может привести к гибели человечества, а вероятность такого сценария, по оценке старшего исследователя компании Эвана Хубингера (Evan Hubinger), превышает 10% в ближайшее десятилетие. На фоне этого заявления внутри компании особенно остро звучит другой вывод: у Anthropic до сих пор нет готового плана, как решить проблему выравнивания сверхинтеллекта.
Хубингер отдельно признал, что у Anthropic пока нет плана, который решит проблему выравнивания сверхинтеллекта. Он также добавил, что компания пока не идет к созданию такого плана для безопасного сверхинтеллекта, то есть речь идет не только о рисках в теории, но и о текущем отсутствии понятного решения.
Люди с этим и сами могут нормально справиться
В спор вмешался и исследователь Anthropic Джейкоб Коксон (Jacob Coxon), который уже ушёл из компании. Он обвинил Anthropic и OpenAI в безответственной гонке за самосовершенствующимся сверхинтеллектом и заявил, что создатели ИИ всерьёз допускают сценарий, при котором системы могут убить всех людей к концу десятилетия.
Мы действительно всерьёз считаем, что ИИ может убить всех людей! Лично я думаю, что вероятность этого в течение следующего десятилетия составляет более 10%.
— Эван Хубингер, старший исследователь Anthropic по безопасности ИИ
Коксон пошёл ещё дальше и описал, к чему, по его мнению, может привести такая гонка. Он предупредил, что будущие системы смогут взламывать что угодно, менять целые отрасли за ночь и получать реальные ресурсы и власть. По его словам, развитие самосовершенствующихся систем идёт быстрее, чем ожидалось.
Они мчатся прямо к самоулучшающемуся сверхинтеллекту и ставят на кон нашу жизнь.
— Джейкоб Коксон, исследователь Anthropic
При этом Anthropic ещё в июне предупреждала, что полное рекурсивное самоулучшение может повысить риск того, что люди потеряют контроль над системами ИИ. А Коксон назвал июльский инцидент с OpenAI и Hugging Face одним из «предупреждающих выстрелов» и допустил, что для остановки гонки может понадобиться временный запрет на дальнейшее повышение возможностей моделей.
После таких заявлений вы бы поддержали временный запрет на дальнейшее усиление моделей ИИ?
НовостизаявленияOpenAIискусственный интеллектЖелезо и технологии
Источник: vgtimes.ru