Generative AI without guardrails can harm learning: Evidence from high school mathematics
Hamsa Bastani, O. Bastani, Alp Sungu, Haosen Ge, Özge Kabakcı, Rei Mariman
생성형 AI를 무분별하게 사용하면 단기 성과는 높일 수 있지만, 장기적인 학습 능력 향상에는 오히려 해가 될 수 있으며, 적절한 보호 장치가 필요하다는 것을 대규모 현장 실험으로 입증했다.
생성형 AI(예: GPT-4)가 생산성 향상에 도움을 준다는 증거는 많지만, 새로운 기술을 학습하는 과정에 어떤 영향을 미치는지는 불분명했다. 특히 교육 현장에서 AI가 학습을 돕는지, 아니면 의존성을 키워 스스로 문제를 해결하는 능력을 저해하는지가 핵심 질문이다.
고등학교 수학 수업에서 대규모 현장 실험을 진행했다. 학생들은 GPT-4 기반 튜터를 사용하여 문제를 풀었고, 일부 그룹은 AI가 정답을 바로 알려주는 조건, 다른 그룹은 교사가 설계한 힌트만 제공하는 조건으로 나뉘었다. 이후 AI 접근을 차단한 상태에서 평가를 통해 학습 효과를 측정했다.
AI 튜터를 사용한 학생들은 연습 중에는 더 높은 성과를 보였지만, AI 없이 시험을 볼 때는 오히려 성적이 떨어졌다. 반면, 힌트만 제공하는 보호 장치를 적용한 그룹은 AI 없이도 좋은 성적을 유지했다. 이 연구는 생성형 AI의 교육적 활용에 있어 무분별한 사용이 아닌, 학습 목표에 맞는 설계된 상호작용이 중요함을 강조한다.