Учёные Университета Иннополис создали нейросеть, которая предсказывает, на какие участки рентгеновского снимка смотрит врач и как долго. Модель обучали не просто на пикселях, а на медицинских данных и задачах (например, поиск пневмонии). Это позволяет молодым рентгенологам учиться правильно «видеть» снимки, а не просто смотреть. Точность выявления болезней выше на 5% по сравнению с аналогами.
Обычные диагностические нейросети часто обращают внимание на артефакты (засветки, тени от украшений). Новая модель объединяет зрение, язык и медзнания. Она предсказывает последовательность фиксаций взгляда: куда и на сколько врач смотрит при решении конкретной задачи. Входные данные — визуальные признаки, текстовые метки («норма», «пневмония») и семантические описания: нейросеть не просто выделяет яркие или тёмные участки снимка, а «понимает», что на нём изображены конкретные органы или патологии.
Главная ценность нейросети — не просто помощь врачу, а в обучении кадров. Систему можно использовать в симуляторах для тренировки правильных паттернов визуального поиска.
«Наша модель объединяет зрение, язык и медицинские знания для предсказания взгляда рентгенолога, изучающего медицинские снимки. Она связывает пиксели не просто с яркими областями, а с медицинским смыслом этих областей и с диагностической задачей. Особый подход к анализу данных помог заглянуть внутрь нейросети и извлечь из отдельных фрагментов снимка понятные человеку семантические описания: "кость", "сердце", "затемнение», — пояснил один из авторов работы, специалист Лаборатории искусственного интеллекта в медицине Университета Иннополис Дмитрий Львов.
Источник: www.ferra.ru