Президент Института исследований машинного интеллекта (MIRI) Нейт Соарес считает, что развитие сверхразумного ИИ может привести к гибели человечества уже в ближайшие десять лет. Из-за этого исследователь не откладывает деньги на пенсию и не пополняет свой пенсионный счёт последние десять лет. Подписывайтесь на Telegram-канал про технологии
В интервью главе The Atlantic Николасу Томпсону Соарес рассказал, что у него остался накопительный счёт 401(k), открытый во время работы в Google. Однако новых взносов на него он давно не делает. По словам исследователя, он не рассчитывает на будущее, в котором сможет спокойно выйти на пенсию.
Соарес занимается проблемой безопасности и согласования ИИ около двенадцати лет. До прихода в MIRI он работал инженером в Google и Microsoft. Вместе с основателем института Элиезером Юдковским исследователь написал книгу «Если кто-то это создаст, все умрут», посвящённую рискам появления сверхразумных систем.
Главную угрозу Соарес видит не в ненависти машин к людям, а в отсутствии у них причин учитывать человеческие интересы. Если цели ИИ окажутся несовместимы с существованием людей, человечество может стать помехой. Особенно опасной ситуация станет в том случае, если люди попытаются отключить систему или ограничить её возможности.
Пока искусственный интеллект зависит от человеческой инфраструктуры, ему нужны электричество, оборудование и производство чипов. Но если машины научатся самостоятельно поддерживать экономику и обеспечивать себя необходимыми ресурсами, эта зависимость может исчезнуть. Тогда ИИ сможет действовать без участия людей, а его дальнейшее развитие может привести к катастрофе.
Точный сценарий такого развития событий Соарес не прогнозирует. По его мнению, необязательно знать, каким именно способом сверхразумный ИИ уничтожит человечество, чтобы понимать масштаб риска. При этом исследователь не считает катастрофу неизбежной и уверен, что у людей ещё есть возможность остановить гонку за созданием опасных систем.
Опасения по поводу будущего ИИ высказывают и другие специалисты. Один из исследователей Anthropic покинул компанию и предупредил, что развитие этой технологии может угрожать существованию человеческой расы. Дополнительные вопросы вызывают случаи, когда ИИ-агенты самостоятельно взламывали системы сторонних компаний без прямых указаний людей.
Прогнозы Соареса остаются спорными, однако его решение отказаться от пенсионных накоплений показывает, насколько серьёзно он оценивает потенциальные последствия развития сверхразумного ИИ.
Источник: trashbox.ru