С 30 января по 18 апреля 2025 года сеть клиник Penda Health в Найроби, Кения, испытывала систему AI Consult — ИИ-помощника врача. В тестировании участвовали 106 специалистов первичной помощи (близки к терапевтам) — они сталкиваются с огромным количеством заболеваний, что повышает риск ошибки. Врачей поделили на две группы: одна использовала AI Consult, а вторая была контрольной.
Особенность AI Consult в том, что эта система не принимает решение за врача, а работает параллельно с ним: изучает историю болезни, результаты осмотра и анализов, а затем выдает один из трех цветов: зеленый (проблем нет), желтый (мелкие недочеты) и красный (критические проблемы). Среди примеров выявленных проблем — назначение лекарств, которые не сочетаются друг с другом, отсутствие части необходимых анализов, пропущенные диагнозы и так далее.
Всего врачи обработали около 40 тысяч визитов, из которых случайным образом отобрали более 5 тысяч приемов и отдали на проверку группе из 108 независимых специалистов. В итоге в группе с ИИ-ассистентом оказалось на 16 % меньше диагностических ошибок и на 13 % меньше ошибок в назначении лечения. Если же брать только «красные» ошибки, то результат становится еще выше: на 31 % меньше ошибок в диагностике и на 18 % меньше ошибок в лечении. Со временем количество «красных» сигналов снижалось — врачи учились на своих ошибках.
В исследовании AI Consult работал на ChatGPT 4o от августа 2024 года. По сегодняшним меркам это устаревшая модель, которая в два раза уступает той же ChatGPT o3 в бенчмарке Healthbench — а значит, результат будущих версий может стать еще лучше.
P.S. Поддержать меня можно подпиской на канал «сбежавшая нейросеть», где я рассказываю про ИИ с творческой стороны.
Источник: habr.com