Новое исследование показывает, как языковые модели ловко имитируют понимание юмора, подменяя смысл статистикой, а иронию — вероятностью. Эксперты отмечают, что за внешней «остроумностью» скрывается отсутствие подлинного понимания — не только юмора, но и эмпатии, культурного контекста и человеческих нюансов. Искусственный интеллект умеет находить закономерности, но не намерения. Он узнаёт структуру шутки — но не улавливает её смысл.
Комики, строящие выступления на игре слов, и авторы остроумных заголовков могут вздохнуть с облегчением — по крайней мере, пока. Новое исследование говорит о том, что искусственный интеллект всё ещё далёк от настоящего понимания юмора.
Учёные из Великобритании и Италии изучили, способны ли большие языковые модели (LLM) по-настоящему понимать каламбуры — и пришли к выводу, что нет.
Команда из Университета Кардиффа (Уэльс) и Университета Ка’ Фоскари в Венеции установила: LLM хорошо распознают структуру каламбура, но не понимают саму шутку.
Например, они тестировали фразу: “I used to be a comedian, but my life became a joke.” (Раньше я был комиком, но моя жизнь превратилась в шутку.)Если заменить вторую часть на: “but my life became chaotic” (но моя жизнь стала хаотичной),модели всё равно воспринимали предложение как каламбур.
Другое испытание: “Long fairy tales have a tendency to dragon.” (Длинные сказки склонны превращаться в дракона. — игра слов: dragon созвучно drag on — «затягиваться»)Даже при замене слова dragon на prolong (затягиваться) или случайное слово, модели всё равно считали фразу игрой слов.
Профессор Хосе Камачо Кольядос из школы компьютерных наук Университета Кардиффа отметил, что понимание юмора у моделей очень хрупкое.
«В целом, LLM склонны запоминать то, что они изучили в процессе обучения. Они хорошо распознают существующие каламбуры, но это не означает, что они действительно понимают их», — пояснил он.
«Мы смогли последовательно обманывать модели, изменяя известные каламбуры и убирая двойной смысл. В таких случаях модели ассоциируют предложение с ранее встречавшимися шутками и начинают придумывать причины, почему это каламбур. В итоге мы выяснили, что их понимание юмора — лишь иллюзия.»
Учёные заключили, что при столкновении с незнакомой игрой слов, способность моделей отличать каламбур от обычного предложения может падать до 20%.
Другой тестируемый каламбур: “Old LLMs never die, they just lose their attention.”(Старые LLM никогда не умирают, они просто теряют внимание. — игра слов с attention)
Если заменить attention на ukulele (укулеле), модели всё равно воспринимали фразу как игру слов, объясняя это тем, что ukulele якобы звучит как you-kill-LLM (вы убиваете LLM). Исследователи отметили, что это проявление креативности — но пониманием шутки это назвать нельзя.
Авторы исследования подчеркнули: эти результаты показывают, что при использовании LLM в задачах, связанных с юмором, эмпатией или культурными нюансами, следует проявлять осторожность.
Работа была представлена в начале этого месяца на Конференции по эмпирическим методам в обработке естественного языка (EMNLP 2025) в Сучжоу, Китай. Подробности изложены в статье под названием: Pun unintended: LLMs and the illusion of humor understanding
Источник: The Guardian
Чтобы не пропустить анонс новых материалов подпишитесь на «Голос Технократии» — мы регулярно рассказываем о новостях про AI, LLM и RAG, а также делимся полезными мастридами и актуальными событиями.
Источник: habr.com