Модель под названием Claude Mythos оказалась настолько мощной, что смогла обнаружить уязвимости практически во всех основных операционных системах и браузерах. Потенциальные последствия «для экономики, общественной безопасности и нацбезопасности могут быть серьезными», говорится в заявлении Anthropic о проекте Project Glasswing — ограниченном запуске Mythos для примерно 50 проверенных организаций.
Решение Anthropic многие эксперты воспринимают как начало новой эпохи: самые мощные модели ИИ могут перейти в режим «закрытых технологий». По мнению Хелен Тонер из Центра по вопросам безопасности и новых технологий Джорджтаунского университета, подобный подход, скорее всего, станет тенденцией, а не единичным случаем. Уже через неделю после анонса Mythos компания OpenAI ответила выпуском специализированной модели GPT‑5.4‑Cyber — тоже только для отобранных пользователей и организаций.
Дискуссия об «открытом» и «закрытом» ИИ идет давно. Прозрачные модели позволяют научному сообществу проверять результаты, воспроизводить эксперименты и быстро развивать новые методы. Теперь все более вероятно, что самые продвинутые системы вообще не будут доступны широкой публике. Если правительства официально отнесут мощный ИИ к «двойным» технологиям — пригодным и для гражданских, и для военных целей, — его могут начать регулировать по тем же правилам, что и чувствительное оборонное ПО и оборудование. Это ограничит круг тех, кто сможет пользоваться такими системами.
Главный мотив ограничений — риск того, что преимуществами новых систем воспользуются злоумышленники. Одни и те же инструменты могут помогать как специалистам — искать дыры в системах безопасности, так и атакующим — находить те же уязвимости. Поэтому Anthropic старается дать специалистам по защите фору, пока модель тестируется в узком кругу проверенных компаний. Тем не менее Mythos не спасло даже это — уже появились сообщения о несанкционированном доступе к системе.
Параллельно растут опасения и в других сферах. Модели, нацеленные на биологические исследования, потенциально могут упростить создание биологического оружия. OpenAI запустила GPT‑Rosalind для биологов по принципу «доверительного доступа» с постоянным мониторингом использования, Google предлагает свой «ИИ‑соученый» только по заявкам.
Если такая практика закрепится, доступ к самым мощным инструментам могут получить только отдельные крупные организации, что лишь усилит неравенство в науке и технологиях. Обсуждаются варианты государственного надзора: от добровольной проверки моделей в национальных институтах стандартизации до возможных экспортных ограничений на наиболее рискованные системы ИИ и требований к учету их использования.
Ситуацию усложняет то, что окно для введения строгого контроля невероятно узкое. По оценке главы Anthropic Дарио Амодеи, сопоставимые по возможностям открытые или зарубежные модели могут появиться в течение 6−12 месяцев. На этом фоне США и Китай уже начали обсуждать совместные ограничения для ИИ, чтобы хотя бы сдержать его применение злоумышленниками.
Ранее ученые объяснили, заменит ли ИИ людей на рабочих местах.
Источник: hi-tech.mail.ru