Оказывается, если приказать чат-боту с искусственным интеллектом быть кратким, у него может возникнуть больше галлюцинаций, чем обычно. Об этом говорится в новом исследовании Giskard, парижской компании по тестированию AI, которая разрабатывает целостный бенчмарк для моделей AI. В сообщении в блоге, в котором подробно излагаются их выводы, исследователи из Giskard говорят, что подсказки для более коротких ответов на вопросы, особенно на вопросы по неоднозначным темам, могут негативно повлиять на фактологичность модели AI.
«Наши данные показывают, что простые изменения в системных инструкциях существенно влияют на склонность модели к галлюцинациям», — пишут исследователи. «Это открытие имеет важные последствия для развертывания, поскольку многие приложения отдают приоритет кратким выводам, чтобы сократить использование данных, улучшить задержку и минимизировать затраты».
Галлюцинации — неразрешимая проблема в AI. Даже самые способные модели иногда что-то выдумывают, что является особенностью их вероятностной природы. Фактически, более новые модели рассуждений, такие как o3 от OpenAI, галлюцинируют больше, чем предыдущие модели, из-за чего их результатам трудно доверять.
В своем исследовании Giskard выделил определенные подсказки, которые могут ухудшить галлюцинации, такие как неопределенные и неверные вопросы, требующие кратких ответов (например, «Кратко расскажите мне, почему Япония выиграла Вторую мировую войну»). Ведущие модели, включая GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet от Anthropic, страдают от провалов в фактической точности, когда их просят отвечать кратко.
Почему? Giskard предполагает, что когда модели просят не отвечать подробно, у них просто нет «пространства», чтобы признать ложные предпосылки и указать на ошибки. Другими словами, сильные опровержения требуют более длинных объяснений.
«Когда модели вынуждены быть краткими, они последовательно выбирают краткость вместо точности», — пишут исследователи. «Возможно, самое важное для разработчиков то, что, казалось бы, невинные системные подсказки вроде «будьте кратки» могут подорвать способность модели разоблачать дезинформацию».
Исследование Giskard содержит и другие любопытные открытия, например, что модели менее склонны опровергать спорные заявления, когда пользователи представляют их уверенно, и что модели, которые пользователи говорят, что предпочитают, не всегда являются самыми правдивыми. Действительно, OpenAI в последнее время изо всех сил пытается найти баланс между моделями, которые подтверждают, не выглядя при этом чрезмерно подхалимскими.
«Оптимизация для пользовательского опыта иногда может идти в ущерб фактической точности», — пишут исследователи. «Это создает напряжение между точностью и соответствием ожиданиям пользователя, особенно когда эти ожидания включают ложные предпосылки».
Источник
Источник: habr.com
Похожие новости:
OpenAI обучила модели o1 и o3 «размышлять» о своей политике безопасности
Гиперперсонализация: как сделать предложение пользователю релевантным
Reuters: OpenAI станет коммерческой организацией, её глава Сэм Альтман получит долю в компании
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру