В Испании группа ученых из Политехнического университета Валенсии провела исследование, показавшее, что с увеличением размера и сложности языковых моделей (LLM) они становятся менее склонными признавать свою неосведомленность. Статья, опубликованная в журнале Nature.
Исследование возникло на фоне растущей популярности LLM, используемых для написания сочинений, стихотворений, решения математических задач и других задач. Ученые решили выяснить, становятся ли LLM более точными с каждым обновлением и как они реагируют, когда дают неправильный ответ. Для тестирования точности были заданы тысячи вопросов, которые варьировались по темам, включая математику, науку, анаграммы и географию.
Результаты показали общую тенденцию к улучшению точности с каждым новым обновлением, однако с ростом сложности вопросов точность снижалась. Интересно, что в новых версиях LLM реже признавали, что не знают ответ. Вместо этого они чаще делали предположения, что приводило к большему количеству как правильных, так и неправильных ответов.
Исследователи также отметили, что большинство участников не смогли выявить неверные ответы, что подчеркивает проблему надежности современных языковых моделей.
Источник: www.ferra.ru
Похожие новости:
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
«Количество желающих повышать квалификацию в больших компаниях меньше, чем среди предпринимателей»
«Слушая подкасты, ничего не узнаешь, ты должен устать, упасть без задних ног — такой должна быть встреча с образованием»
Всемирная организация интеллектуальной собственности (ВОИС) выпустила отчет о патентном ландшафте в генеративном ИИ 2024