Исследователи из Пенсильванского университета обнаружили, что турецкие старшеклассники, у которых был доступ к ChatGPT при выполнении практических математических задач, показали худшие результаты в тесте по сравнению с учениками, у которых не было доступа к ИИ-помощнику.
Результаты тестирования учащихся
Те, у кого был ChatGPT, верно решили на 48% больше практических задач, но в конечном итоге набрали на 17% меньше баллов на тесте по теме, которую изучали.
Третья группа учеников имела доступ к пересмотренной версии ChatGPT, которая функционировала скорее как репетитор. Этот чат-бот был запрограммирован на подсказки, но без прямого ответа. Учащиеся, которые использовали его, показали впечатляющие результаты в практических задачах, выдав на 127% больше правильных ответов по сравнению с учениками, которые не применяли ИИ. Но в последующем тесте эти ученики тоже показали себя не лучше.
Исследователи назвали свою работу «Генеративный ИИ может навредить обучению». по их мнению, свободно доступные чат-боты могут «существенно препятствовать обучению», и даже доработанная версия ChatGPT для целей репетиторства не обязательно справляется со своей задачей.
Исследователи полагают, что проблема заключается в использовании чат-бота в качестве «костыля». Когда они анализировали вопросы, которые ученики вводили в ChatGPT, то выяснилось, что те просто просили предоставить им верный ответ. При этом школьники не развивали навыки, которые возникают при решении задач самостоятельно.
Ошибки ChatGPT также могли быть негативным фактором. Чат-бот правильно решал математические задачи только в половине случаев. Его арифметические вычисления были неверными в 8% случаев, но более серьёзной проблемой стало то, что шаги ИИ при решении были неверными в 42% случаев. Только в репетиторской версии ChatGPT, которую обучали на правильных решениях, эти ошибки были сведены к минимуму.
Процент арифметических и логических ошибок версий ChatGPT
Черновик статьи об эксперименте был опубликован на сайте SSRN. Для подтверждения результатов потребуются дополнительные исследования. В нынешнем эксперименте приняли участие около тысячи учеников 9–11 классов, он прошёл осенью 2023 года. Сначала учителя просмотрели ранее проведённый урок со всем классом, а затем классы случайным образом распределили на группы для практики: с доступом к ChatGPT, с доступом к репетитору на основе ИИ или без вспомогательных средств. Учащимся каждого класса были даны одни и те же практические задачи. После этого они прошли тест, чтобы проверить, насколько хорошо был усвоен материал. Исследователи провели четыре эксперимента, предоставив студентам четыре 90-минутных сеанса практики по различным темам.
В опросах, сопровождавших эксперимент, студенты заявили, что не считают, что ChatGPT заставил их меньше учиться. Студенты с репетитором ИИ считали, что они сдали тест значительно лучше, хотя это было не так.
Ранее руководство университета Гонконга временно запретило студентам использовать чат-бота ChatGPT и другие подобные инструменты на основе ИИ для создания учебных, курсовых и научных работ. Нарушение запрета будет рассматриваться вузом как плагиат. Аналогичным образом поступили и ведущие японские вузы.
Один из ведущих университетов Франции Sciences Po также запретил использование чат-бота, чтобы предотвратить мошенничество и плагиат.
Также на ChatGPT наложил табу департамент образования Нью-Йорка. В государственных школах города школьники и учителя не получат доступ к чат-боту. Отдельные заведения могут запросить его для изучения ИИ.
Источник: habr.com
Похожие новости:
Сверхпроводящий токамак | Рентген в смартфоне | Теневая камера | Контакты для 2D-чипов
Уровень «цифровой зрелости» компаний в России выше, чем в среднем по миру
ChatGPT в ответ на приветствие от пользователя случайно поделился своими ограничениями и секретными правилами
Какой процессор купить весной 2024 года