Группа специалистов в сфере экономики образования из Университета Пенсильвании во главе с Алпом Сунгу решила проверить, помогает ли генеративный ИИ учиться или лишь создает иллюзию прогресса. В основу исследования легла идея «когнитивного долга», согласно которой, если регулярно передавать решение задач машине, мозг перестает тренироваться и хуже справляется самостоятельно.
Эксперимент провели в крупной турецкой школе осенью 2023 года. Почти тысяча учеников 9−11 классов занимались математикой по единой программе: четыре 90‑минутных урока, покрывающих около 15% программы за семестр. Классы случайным образом разделили на три группы.
Первая (контрольная) обучалась и решала задачи по обычным учебникам и конспектам. Вторая пользовалась ноутбуками с «чистым» GPT Base — по сути, стандартным чатботом в роли «репетитора». Третья группа работала с GPT Tutor — тем же ИИ, но с невидимыми для учеников ограничениями: бот был заранее обучен правильным решениям и получил запрет на выдачу готового ответа, вместо которого он давал ученикам пошаговые подсказки.
Каждое занятие состояло из трех частей: объяснение учителем, затем «практика с помощью» (ученики решали задачи с книгой или ИИ), и, наконец, короткий самостоятельный тест без каких‑либо материалов и доступа к компьютеру. Оценки за практику и тест шли в реальный журнал, а проверкой занимались независимые эксперты, которые пользовались единой шкалой.
Во время практики ИИ существенно ускорял усвоение программы. Ученики с GPT Base решали задания в среднем на 48% лучше контрольной группы, а с GPT Tutor — на 127% лучше. Но как только доступ к ИИ убирали, картина резко менялась. На самостоятельных тестах группа с «чистым» GPT показала результат на 17% хуже тех, кто вообще не пользовался компьютером. Школьники с GPT Tutor писали экзамен в среднем так же, как контрольная группа — то есть без выигрыша, но и без провала.
Разбор логов показал, в чем причина. Подростки почти всегда использовали GPT Base как «машину для выдачи ответов»: просто просили «реши задачу» и переписывали получившийся результат. При этом бот выдавал правильный ответ только примерно в 51% случаев, часто ошибаясь в логике и арифметике. Ученики не прорабатывали ход решения и не замечали ошибок, а значит, не были готовы к аналогичным задачам без подсказок. В группе GPT Tutor ИИ приходилось использовать как настоящего помощника: просить у него подсказки, пробовать решать самостоятельно. Это сохраняло необходимое «умственное усилие» и позволяло не потерять навык.
Интересно, что субъективные ощущения расходились с реальностью. Пользователи GPT Base были уверены, что учатся не хуже других, хотя объективно справлялись хуже на экзамене. Те, кто работал с GPT Tutor, наоборот, думали, что выступили значительно лучше, хотя их оценки не отличались от оценок группы контроля.
Авторы подчеркивают: результаты не означают, что «любой ИИ вреден». В эксперименте достаточно простые настройки GPT Tutor позволили избежать потерь в обучении. Более продвинутые системы, специально спроектированные как активные тьюторы, возможно, действительно смогут улучшать результаты учеников. Но ключевой вывод ясен уже сейчас: от того, как именно школьник взаимодействует с ИИ во время обучения, в прямом смысле зависит, что он в итоге запоминает.
Ранее ученые представили систему искусственного интеллекта, которая может самостоятельно «эволюционировать».
Источник: hi-tech.mail.ru