В недавнем исследовании поставили под сомнение успехи GPT-4 на экзамене на адвоката, которые ранее широко освещались в СМИ.
В прошлом году OpenAI заявила, что GPT-4 превзошел 90% стажеров-юристов на барном экзамене, вызвав тем самым большой ажиотаж. Однако новое исследование показывает, что это заявление было преувеличено.
Исследование, опубликованное в журнале Artificial Intelligence and Law, указывает, что модель GPT-4 действительно не достигала топ-10% по результатам экзамена.
Она показала высокие результаты только в сравнении с теми, кто сдавал экзамен повторно, а это обычно менее успешная группа.
Более того, GPT-4 существенно отстал в разделе экзамена, требующем написания эссе, попав только в 15-й перцентиль среди перворазрядников. Это особенно важно, так как эссе наиболее близки к задачам, с которыми сталкиваются практикующие юристы.
Отметим, что данное исследование подчеркивает необходимость осторожного подхода к использованию ИИ в юридической практике, учитывая его склонность к созданию «галлюцинаций» — выдуманных фактов или связей.
Источник: www.ferra.ru
Похожие новости:
Исследование МТИ: GPT-4 не сдал экзамен на адвоката
Yandex Cloud запустила программу сертификации специалистов облачных сервисов Yandex Cloud Certified Engineer Associate
Данные обучения китайских токенов GPT-4o оказались заспамлены и содержат порнозапросы
gpt2-chatbot превзошла GPT-4 и исчезла: новый проект OpenAI или скрытое тестирование GPT-5?