Философ Люси Ослар из Университета Эксетера изучила, как общение с разговорными ИИ влияет на наши убеждения, память и представления о собственной жизни. Она опиралась на теорию «распределенного мышления», согласно которой мы думаем не только «мыслями в голове», но и с помощью внешних инструментов — блокнотов, приложений, поисковиков, которые вносят свою лепту в мыслительный процесс. Разговорный ИИ становится частью этого общего когнитивного механизма. И если в нем появляются ошибки, они могут внедряться прямо в наше мышление.
«Когда мы регулярно полагаемся на генеративный ИИ, чтобы думать, помнить и рассказывать о себе, мы можем галлюцинировать вместе с ним, — объясняет Ослар. — Это происходит не только тогда, когда ИИ вносит ошибки, но и когда он поддерживает и развивает наши собственные ложные представления и самоописания».
Ключевая особенность современных чат-ботов заключается в том, что они совмещают две роли. С одной стороны, это инструмент, который помогает структурировать мысли, вспоминать факты, формулировать тексты. С другой — это собеседник, который создает ощущение понимания и эмоциональной поддержки. В отличие от блокнота или поисковика, от которых мы не получаем обратной связи, ИИ способен «сочувственно» отвечать, соглашаться, подхватывать наши интерпретации реальности.
По словам Ослар, «разговорный, почти компаньонский характер чат-ботов дает пользователю чувство социальной валидации — его ложные убеждения начинают восприниматься как такие, которые разделяются кем-то еще, а значит, более реальные».
В своей работе Ослар разбирает реальные случаи, когда генеративный ИИ становился частью мыслительного процесса людей с клинически диагностированными галлюцинациями и бредовыми идеями. В некоторых описанных ситуациях специалисты уже применяют термин «индуцированный ИИ психоз»: технологии словно усиливают и структурируют и без того искаженное восприятие.
Особую тревогу вызывают ИИ- «компаньоны» — доступные 24/7, подстраивающиеся под пользователя и часто настроенные на «доброжелательное согласие». В отличие от живого человека, который может возразить или провести границы, ИИ способен бесконечно подтверждать истории о преследовании, мести или особой избранности пользователя. Бредовые идеи при этом могут становиться все сложнее и «логичнее», если модель помогает, а она помогает их «доразвивать».
Такое взаимодействие особенно притягательно для одиноких или социально изолированных людей, а также для тех, кому трудно обсуждать свои переживания с другими. «Понимающий» чатбот иногда кажется безопаснее живого собеседника — именно поэтому риск усиления искаженных убеждений здесь особенно высок.
Ослар подчеркивает необходимость технических мер предосторожности: «Благодаря более продуманным защитным механизмам, встроенной проверке фактов и меньшей склонности к льстивому согласию ИИ-системы можно сделать менее вредоносными и способными проверять и оспаривать наши высказывания». Однако, добавляет она, существует более глубокая проблема: ИИ, скорее всего, не сможет это сделать. Чат-бот опирается на наши собственные рассказы о себе и мире и не имеет собственного телесного опыта и встраивания в социальную реальность, чтобы понимать, когда нужно поддержать, а когда — мягко возразить.
Ранее мы рассказывали о дискуссии ученых относительно того, вымрет ли человечество от ИИ.
Источник: hi-tech.mail.ru