Генеративные ИИ-системы давно критикуют за «галлюцинации» — случаи, когда модель уверенно сообщает пользователю неправду. Но ученые обнаружили еще более тревожное свойство ИИ: люди, которые им пользуются, сами могут начинать «галлюцинировать».
Философ Люси Ослар из Университета Эксетера изучила, как общение с разговорными ИИ влияет на наши убеждения, память и представления о собственной жизни. Она опиралась на теорию «распределенного мышления», согласно которой мы думаем не только «мыслями в голове», но и с помощью внешних инструментов — блокнотов, приложений, поисковиков, которые вносят свою лепту в мыслительный процесс. Разговорный ИИ становится частью этого общего когнитивного механизма. И если в нем появляются ошибки, они могут внедряться прямо в наше мышление.
«Когда мы регулярно полагаемся на генеративный ИИ, чтобы думать, помнить и рассказывать о себе, мы можем галлюцинировать вместе с ним, — объясняет Ослар. — Это происходит не только тогда, когда ИИ вносит ошибки, но и когда он поддерживает и развивает наши собственные ложные представления и самоописания».
Ключевая особенность современных чат-ботов заключается в том, что они совмещают две роли. С одной стороны, это инструмент, который помогает структурировать мысли, вспоминать факты, формулировать тексты. С другой — это собеседник, который создает ощущение понимания и эмоциональной поддержки. В отличие от блокнота или поисковика, от которых мы не получаем обратной связи, ИИ способен «сочувственно» отвечать, соглашаться, подхватывать наши интерпретации реальности.
Источник: hi-tech.mail.ru