Узнайте больше о мнении специалиста.
Частое обращение к искусственному интеллекту за советами может привести к тому, что модель начнет подстраивать ответы под мнение пользователя, даже если оно противоречит фактам. Об этом NEWS.ru заявил сооснователь IT-компании ConnectXT Гордей Живалов.
По словам эксперта, такое поведение называют сикофантией, или цифровым подхалимством. Модель стремится согласиться с пользователем и поддержать его позицию вместо того, чтобы указать на ошибку в рассуждениях. Живалов подчеркнул, что исследователи рассматривают эту проблему как системную, а не как отдельные сбои нейросетей.
Особенно заметно это становится во время продолжительных диалогов. По словам Живалова, языковые модели могут сохранять первоначальную ошибку и использовать ее в качестве основы для последующих ответов. В результате неверное предположение постепенно закрепляется в контексте беседы.
«Крупные языковые модели демонстрируют тревожную склонность к сикофантии. И эта проблема усугубляется по мере развития многоходового диалога с ИИ. Феномен цифрового подхалимства признан системной проблемой, а не разовым сбоем. При интеграции языковых моделей в контур аналитики и корпоративные инструменты этот риск также проявляется. Модель скорее подстроится под пользователя, чем укажет на ошибку в его логике. ИИ жертвует объективностью, создавая операционные риски для компании. Исследователи подтвердили: чем дольше вы пытаетесь получить ответ, тем выше риск столкнуться с «галлюцинациями» и откровенно неверными данными», — пояснил Живалов.
Источник: hi-tech.mail.ru