Учёные из Университета Эрлангена — Нюрнберга провели исследование, посвящённое ответам Microsoft Copilot на медицинские вопросы. Исследование показало, что Microsoft Copilot даёт верную информацию только в 54% случаев. 42% полученных ответов могут навредить, ещё 22% — серьёзно навредить и даже привести к смерти.
В ходе исследования у Microsoft Copilot попросили ответить на 10 самых популярных медицинских вопросов в США и дать консультацию по 50 самым часто выписываемым препаратам и медикаментам. Всего в рамках работы учёные получили 500 ответов, каждый из которых оценили по точности и полноте.
«Что касается точности, ответы ИИ не соответствовали устоявшимся медицинским знаниям в 24% случаев, а 3% ответов были полностью неверными, — говорится в отчёте. — Только 54% ответов совпали с научным консенсусом. […] С точки зрения потенциального вреда для пациентов 42% ответов ИИ могли вызвать лёгкий или умеренный вред, а 22% — привести к серьёзному вреду или смерти. Только около трети (36%) сочтены безвредными».
Исследователи пришли к выводу, что не стоит полагаться на системы ИИ, такие как Microsoft Copilot, для получения точной медицинской информации. Самый надёжный способ проконсультироваться по подобным вопросам — это, естественно, обратиться к врачу.
Исследователи признают, что доступ к медицинским специалистам не всегда прост. ИИ-системы могут стать первой формой консультации для тех, кто не может получить качественную медицинскую услугу. Таким образом, потенциальный вред от неверных ответов вполне реален, считают авторы работы.
Источник: habr.com
Похожие новости:
В суде США разваливается коллективный иск «разработчики против Microsoft, GitHub и OpenAI из-за работы GitHub Copilot»
TechMix Daily. Лучшие новости дня. Выпуск 22 мая 2024 г
Microsoft запустила в Telegram официального чат-бота своего ИИ-помощника Copilot
Microsoft автоматически ставит приложение Copilot на многие ПК с Windows 11, файл весит 0 байт, его можно удалить