Группа ученых из университета Пердью выяснила, что ChatGPT, допускает значительные ошибки при ответах на вопросы о программировании. В своей статье, опубликованной в рамках конференции CHI по человеческим факторам в компьютерных системах, они описали, как тестировали ChatGPT на вопросах с сайта StackOverflow и измеряли точность его ответов.
Группа также представила свои результаты на конференции CHI 2024. ChatGPT и другие подобные чат-боты стали очень популярны среди пользователей, однако, помимо полезной информации, они часто дают неверные ответы, причем это не всегда сразу заметно.
Ученые отметили, что многие студенты программирования начали использовать чат-ботов не только для помощи в написании кода, но и для получения ответов на вопросы о программировании. Они проверили точность ответов ChatGPT на 517 вопросах с StackOverflow и обнаружили, что он дал правильный ответ всего в 52% случаев. К тому же ответы оказались более длинными, чем ответы экспертов-людей.
Также, исследование показало, что участники исследования предпочитали ответы ChatGPT в 35% случаев, и часто не замечали ошибок — ошибочные ответы игнорировались в 39% случаев.
Источник: www.ferra.ru
Похожие новости:
Как пользоваться ChatGPT в России в 2024 году
Исследователь обнаружил в коде OpenAI наработки по возможной замене Google Assistant на ChatGPT на Android-смартфонах
Stack Overflow начала блокировать пользователей после редактирования сообщений в знак протеста против связи с OpenAI
ChatGPT недопустимо часто ошибался при диагностике детских заболеваний