MS 'StudentSim' 공개… 학생 흉내 내는 AI로 AI 튜터 개선
3줄 요약
- 마이크로소프트 연구팀이 실제 학생 한 명 한 명을 흉내 내는 AI 시뮬레이터 'StudentSim'을 공개했습니다.
- AI 튜터가 설명했을 때 학생이 어떻게 반응하고 답을 고치는지 미리 시험해, 튜터를 더 빨리 개선하는 것이 목적입니다.
- 체스 튜터 실험에서 StudentSim으로 훈련한 튜터가 비교 조건보다 높은 평가를 받았고, 논문과 코드는 공개됐습니다.
마이크로소프트 연구소는 10월 12일 AI 튜터를 평가하고 개선하기 위한 연구 시스템 StudentSim을 소개했습니다. AI 튜터가 나아지려면 학생 반응이라는 피드백이 필요하지만 실제 학생을 대상으로 한 연구는 느리고 비용이 많이 듭니다. StudentSim은 개별 학생이 문제에 어떻게 답하고, 튜터의 안내를 받은 뒤 답을 어떻게 바꾸는지를 흉내 내는 학생별 시뮬레이터를 만듭니다.
단순히 LLM에게 '수학을 어려워하는 초등학생처럼 답하라'고 시키면 말투는 비슷해도 실력은 학생보다 훨씬 높아서, 튜터가 실제보다 효과적인 것처럼 보일 수 있습니다. 그래서 연구팀은 시뮬레이터를 두 가지로 평가했습니다. 특정 학생의 실제 답과 얼마나 비슷한지, 그리고 튜터의 안내를 읽은 뒤 답을 바꾸는지입니다.
학습에는 연구용으로 공개된 익명 학습 기록만 썼습니다. 여러 학생의 기록으로 공통 패턴을 먼저 익힌 뒤 학생 한 명의 기록으로 다시 맞춤 학습하는 2단계 방식으로, 체스·외국어 영어 작문·수학 세 분야에서 기존 방법보다 나은 결과를 보였습니다. 체스 튜터를 강화학습으로 훈련한 실험에서는 StudentSim을 학생 역할로 쓴 튜터가 정확도 90.5%로, 강화학습을 하지 않은 튜터(75.7%)와 GPT-5.4를 학생 역할로 쓴 튜터(71.6%)보다 체스 전문가 평가에서 높은 점수를 받았습니다.
연구팀은 StudentSim이 제품이 아니고 교실에서 쓰이지도 않으며, 교사를 대체하려는 것이 아니라고 분명히 했습니다. 실제 학습 효과와 안전성은 결국 진짜 학생을 대상으로 한 연구로 확인해야 하고, 시뮬레이터는 그 전 단계에서 쓰는 도구라는 설명입니다. 논문과 학습·평가 코드는 공개됐습니다.
왜 중요한가
AI 튜터의 질은 정답을 말하는지가 아니라 학생이 실제로 배우는지로 판단해야 합니다. 학생 반응을 미리 흉내 내 보는 방법이 자리 잡으면 교육용 AI를 더 빨리, 더 안전하게 다듬을 수 있을 것으로 보입니다.
누구에게 중요한가
출처
- Simulating student learning for better AI tutoring — Microsoft Research
