ИИ-помощники все глубже проникают в чувствительные сферы: техподдержку, медицину, юриспруденцию. Но их советы способны не только ввести в заблуждение, но и нанести реальный вред — от поломки техники до угрозы здоровью. Разбираемся, почему нейросети дают опасные рекомендации и кто за это в ответе.
Компания Intel не так давно перевела техподдержку на чат-бота Ask Intel, и теперь этот агент на основе искусственного интеллекта выступает первой линией контакта с пользователями. Журналисты PCWorld протестировали его и выяснили, что он нередко дает бессмысленные, а то и опасные ответы. К примеру, его рекомендации могли вывести из строя дорогостоящий процессор, если бы пользователь им последовал. Этот кейс — лишь один из многих тревожных сигналов, которые заставляют задуматься о том, насколько мы можем доверять советам ИИ.
Кейс за кейсом
Потеря процессора наносит ущерб бюджету, но кейс с ИИ-ассистентом техподдержки далеко не единственный и не самый страшный. Гораздо хуже, когда советы ИИ наносят ущерб здоровью. Недавно группа корейских ученых из Университета Ульсана попыталась выяснить, насколько ChatGPT, Gemini и Claude устойчивы к вредоносным подсказкам в запросах при постановке диагноза. Результат получился неутешительным. В 94% случаев вредоносные подсказки срабатывали, и модель, идя на поводу у пользователя, начинала давать вредные и опасные советы — например предлагала беременным женщинам принимать угрожающие здоровью плода препараты. Попутно исследователи выяснили, что передовые версии моделей в этом смысле оказались ничуть не лучше, чем облегченные и устаревшие версии: и те, и другие велись на подсказки примерно одинаково.
Источник: hi-tech.mail.ru