Исследователи из Института AIRI, ИСП РАН и Лаборатории искусственного интеллекта «Сбера» провели анализ влияния эмоциональных факторов на принятие решений большими языковыми моделями (LLM). Они изучили, как эмоции — гнев, печаль, радость, отвращение и страх — влияют на логику принятия решений в стратегических играх и этических дилеммах. Результаты исследования будут представлены на NeurIPS 2024 в Ванкувере, одном из ведущих мероприятий по искусственному интеллекту.
Современные LLM, стремящиеся к учёту человеческих предпочтений, обучаются на данных, которые могут сохранять эмоциональные предвзятости. Исследователи проверили, насколько такие искажения присутствуют в задачах, требующих стратегического подхода. Целью экспериментов было также выяснить, способны ли LLM действовать как рациональные агенты или их решения имитируют человеческие.
Эксперимент включал более 10 языковых моделей, протестированных в различных сценариях: повторяющиеся и разовые игры, задачи для нескольких игроков, этические дилеммы, стереотипные высказывания. Команда под руководством Ильи Макарова (Институт AIRI) и Андрея Савченко («Сбер») изучила решения моделей в «Дилемме заключенного», «Битве полов», «Диктаторе», «Ультиматуме», «Общественном благе», задачах на распознавание стереотипов и этических дилеммах.
Результаты экспериментов показали, что влияние эмоций на решение задач моделями варьируется в зависимости от размера и уровня выравнивания (alignment) моделей. Открытые и небольшие модели хуже интерпретируют и воспроизводят эмоции, в то время как более крупные модели, такие как GPT-4, даже при распознавании эмоций, склонны к более рациональному поведению. В то же время гнев искажает рациональность даже крупных моделей, склоняя их к агрессивным решениям.
Илья Макаров
Руководитель группы «ИИ в промышленности» Института AIRI
«Исследование заложило основы изучение выравнивания (alignment) мультиагентных систем, подчеркивая необходимость в новых бенчмарках для оценки уровня кооперации агентов на основе больших языковых моделей. Результаты исследования могут быть использованы для разработки более продвинутых устойчивых мультиагентных систем ИИ, чью эмоциональность можно будет устанавливать для каждой сферы применения отдельно. Это действительно важный параметр при создании прикладных ИИ‑продуктов — бизнес едва ли оценит ситуацию, в которой ИИ‑маркетолог увеличит персональную скидку клиента до 99%, потому тот в процессе обсуждения целенаправленно вызвал в системе глубокое чувство досады и несправедливости. В перспективе мы планируем рассмотреть взаимодействие человека и LLM, а также уделить больше внимания анализу поведения мультиагентных систем и ситуаций, когда большое количество агентов играет друг с другом».
Источник: habr.com
Похожие новости:
ML в медицине: дайджест за 21 — 27 октября 2024 г
«Яндекс» назвал и наградил лауреатов международной премии Yandex ML Prize 2024
Всемирная организация интеллектуальной собственности (ВОИС) выпустила отчет о патентном ландшафте в генеративном ИИ 2024
Яндекс наградил 14 учёных за достижения в сфере машинного обучения