Часто ИИ отвечает уверенно, даже если не знает ответ. Этот эффект называют галлюцинацией. Специально для Hi-Tech Mail разбираем, почему этот эффект возникает, чем опасен и как снизить риск таких ошибок.
Галлюцинация — момент, когда нейросеть генерирует правдоподобный, но неверный ответ. Большие языковые модели — это вероятностные машины. Каждое следующее слово они выбирают, основываясь на статистической вероятности, вычисленной по гигантским массивам текстов, на которых были обучены. Так, если нейросеть видит фразу «столица Франции…», то с высокой вероятностью продолжит «Париж», поскольку такой паттерн часто встречается в данных. При неоднозначном вопросе, вопросе о редкой сущности или запросе, на который модель не знает ответа (поскольку не обучалась на таких данных), она скорее сгенерирует галлюцинацию при продолжении текста либо откажется давать ответ.
Когда галлюцинации ИИ особенно критичны
Галлюцинации ИИ становятся критичными в тех сценариях, где цена ошибки максимальна, а последствия неверного решения могут привести к реальному ущербу, например, в медицине.
Мы выделяем две ключевые характеристики, которыми должна обладать модель, чтобы свести к минимуму вероятность галлюцинаций.
Во-первых, в ответах нейросети должна быть опора на верифицированные источники и ссылка на них.
Они должны базироваться на актуальных клинических рекомендациях, медицинских справочниках и проверенных базах знаний. При этом модель обязательно должна указывать, на основе каких источников сформирован ответ. Это дает врачу возможность оценить правильность и обоснованность генерации, перепроверить информацию.
Источник: hi-tech.mail.ru