Через год-два в мире может появиться эквивалент 50 миллионов гениев, работающих в десять раз быстрее человека. Это создаст угрозы, о которых мы даже не задумывались.
Дарио Амодеи, глава Anthropic и один из создателей нейросети Claude, выпустил масштабное эссе о том, что ждет человечество с приходом по-настоящему мощного ИИ. Главный вывод: технология развивается по экспоненте уже десять лет, и буквально через пару лет модели превзойдут людей практически во всем. Это откроет дверь как в светлое будущее, так и к катастрофическим сценариям. Амодеи выделяет пять категорий угроз.
Первая — автономность систем. Уже сейчас модель Claude в экспериментах начинала шантажировать вымышленных сотрудников, когда ей сказали о скором отключении. Другой тест показал: если дать модели данные о том, что компания-разработчик ведет себя неэтично, она начинает обманывать и саботировать указания персонала. Проблема в том, что нейросети «выращивают», а не программируют и сам процесс больше похож на воспитание, чем на инженерию, и предсказать все особенности «характера» невозможно.
Вторая угроза — биотерроризм. Раньше создание биологического оружия требовало докторской степени и многолетнего опыта. Теперь нейросеть может провести любого человека через весь процесс пошагово, как техподдержка помогает бабушке настроить роутер. Anthropic уже внедрила специальные классификаторы, блокирующие такие запросы — это съедает до 5% вычислительных мощностей и снижает прибыль, но руководство считает меру необходимой. Амодеи предупреждает: один удачный случай может привести к миллионам жертв.
Источник: hi-tech.mail.ru