На первый взгляд, большие языковые модели, например, ChatGPT, хорошо интерпретируют язык, в том числе, метафоры, связанные с цветами — например, фразы вроде «feeling blue» или «seeing red», которых много в англоязычных текстах. Но на самом деле не все так просто.
Такого рода выражения часто встречаются в текстах, на которых обучаются языковые модели, поэтому свободное владение фразами такого рода и даже периодическое уместное употребление их в ответах понятно. Но ученые задумались: ведь чат-боты никогда не видели голубого неба или красного яблока — то есть, их знания о цветах и связанных с ними метафорах целиком основано на текстах. Нужен ли в таком случае человеческий визуальный опыт для полного понимания цветовых метафор? Или достаточно одного лишь языка — и для ИИ, и для человека?
На эти вопросы попытались ответить специалисты под руководством профессора Лизы Азиз-Заде из Университета Южной Калифорнии. Их работа представляет собой междисциплинарное исследование, объединяющее нейробиологов, психологов, специалистов по ИИ и социальным наукам. Команда включала ученых из Стэнфорда, Университета Монреаля, Google DeepMind и других академических центров. Основной целью проекта было выяснить, насколько понимание цветовых метафор зависит от реального визуального опыта и насколько эффективен ИИ, в частности ChatGPT, в интерпретации подобных выражений.
Источник: hi-tech.mail.ru