Если нейросети не уверены в своих ответах, то пользователи готовы тщательнее искать нужную информацию самостоятельно.
ИИ-модели, которые сомневаются в своих ответах, заставляют пользователей искать информацию в другом месте. К такому выводу пришла Дженн Вортман Вон из Microsoft вместе с коллегами, пишет New Scientist. Исследователи провели эксперимент с участием 404 добровольцев. Им поручили ответить на медицинские вопросы. Искать информацию можно было в книгах, интернете, у специалистов — или с помощью чат-бота Microsoft Copilot. При этом ряд участников эксперимента получил ответы нейросети, в которых ИИ-модель сообщала о том, что она не уверена в ответе.
В первой группе, которой предоставили обычные ответы Copilot, с выводами чат-бота согласился 81% участников. Сомнения нейросети сократили показатель до 75%. При этом точность окончательных ответов людей в первой группе составила 64%, а во второй — 73%. Это связано с тем, что неуверенность ИИ-модели заставила их приложить больше усилий для поиска информации.
Авторы исследования отметили, что ни одна современная ИИ-модель не может определить, являются ли ее ответы фактически точными. По словам Вон, ученые пытаются создать показатели достоверности, однако сейчас они остаются ненадежными. Она считает, что нейросетям стоит помечать ответы с высокой степенью неопределенности или вовсе не показывать их. «Конечно, беспокойство вызывает то, что люди становятся слишком уверенными в ответе, если он не был отмечен как неопределенный. В конечном счете компания должна быть заинтересована в том, чтобы укреплять доверие к своей продукции, а прозрачность может помочь в этом», — сказала Вон.
Источник: hi-tech.mail.ru
Похожие новости:
TechMix Daily. Лучшие новости дня. Выпуск 22 мая 2024 г
Microsoft запустила в Telegram официального чат-бота своего ИИ-помощника Copilot
Microsoft автоматически ставит приложение Copilot на многие ПК с Windows 11, файл весит 0 байт, его можно удалить
Microsoft: удаление ИИ-помощника Copilot в обновлённой версии Windows 10 на данный момент не поддерживается