Исследователи из Microsoft Research и Университета Иллинойса в Урбане‑Шампейне представили StudentSim — систему для создания виртуальных копий учеников. Такие модели воспроизводят уровень знаний, типичные ошибки и реакцию людей на подсказки преподавателя. На них можно тестировать и обучать виртуальных репетиторов, не привлекая для этого реальных учеников.
Авторы исследования отмечают, что обычные языковые модели плохо изображают поведение конкретного ученика. Если нейросети просто описать его уровень и попросить отвечать от его имени, то модель обычно оказывается «слишком умной». Например, она понимает подсказки преподавателя, но не повторяет характерные ошибки человека.
Для решения этой проблемы исследователи разработали систему StudentSim на основе Qwen3-4B‑Instruct. Модель дообучили на данных множества учеников одной предметной области, чтобы она запомнила общие закономерности, ошибки и способы реагирования на подсказки. Затем для каждого человека создали отдельный адаптер и обучили его на истории конкретного ученика. В результате получается персональный симулятор.
Тесты проводили на бенчмарке StudentSimEval с данными 60 реальных людей: 30 шахматистов, 15 изучающих английский как иностранный и 15 школьников, решавших задачи по математике. Для них использовали данные с Lichess, корпуса EFCAMDAT и образовательного датасета FoundationalASSIST.
Систему оценивали по двум параметрам: насколько точно она воспроизводит поведение конкретного ученика и насколько правильно симулятор меняет ответ после подсказки преподавателя. Например, в шахматах модель должна предсказать не лучший ход, а именно тот ход, который сделал этот игрок, а при работе с английским — повторить характерные для ученика ошибки. По обоим показателям StudentSim обошла GPT-5.4.
Команда также проверила, можно ли использовать виртуальных учеников для обучения AI‑репетиторов. В эксперименте участвовал шахматный преподаватель Qwen3-VL-8B, которого обучили методом обучения с подкреплением. Репетитор давал советы, StudentSim имитировал поведение ученика, а система получала награду, если после подсказки качество хода в шахматах улучшилось.
Репетитор, обучавшийся с помощью StudentSim, выдавал ответы без серьёзных фактических ошибок в 90,5% случаев. Версия без обучения с подкреплением набрала 75,7% случаев без ошибок, а где вместо StudentSim роль ученика исполняла GPT-5.4 — 71,6%.
Код StudentSim опубликован Microsoft на GitHub под лицензией MIT, а подробный текст исследования доступен на странице проекта.
Источник: habr.com