Системы искусственного интеллекта, обученные распознавать виды животных или ставить диагнозы по медицинским снимкам, принято считать универсальными инструментами, которые способны легко адаптироваться к любым условиям — подобно эксперту-человеку.
Впрочем, далеко не все ученые разделяют оптимизм относительно таких систем. Специалисты Университета Эксетера предупреждают, что в экологии и смежных науках назревает «кризис переносимости» моделей машинного обучения, — то есть их неспособность работать за пределами условий, где они были обучены.
Суть проблемы заключается в том, что большие языковые модели надежно работают только в тех условиях, на которых были обучены. Стоит сменить окружающую среду, освещение или вид объектов на изображениях — и точность снижается в разы. «Например, модель, обученная распознавать кошек по стоковым фотографиям, покажет отличные результаты на тестовом наборе других стоковых фотографий кошек, но это не означает, что она будет эффективно обнаруживать кошек в дикой природе», — поясняет автор исследования, доктор Томас О’Ши-Уэллер.
Особенно тревожным ученые считают то, как оцениваются модели. Стандартные тесты производительности — так называемые бенчмарки — часто составлены из произвольных категорий изображений и не отражают реальных задач, которые впоследствии ставятся перед нейросетью. Тем не менее, именно на их основе делаются громкие заявления о том, что очередная модель не уступает человеку или превосходит его. «Несмотря на статус “золотого стандарта”, тесты производительности не дают надежного представления об истинных способностях ИИ-моделей», — подчеркивает О’Ши-Уэллер.
Источник: hi-tech.mail.ru