Google DeepMind, 시에라리온에서 Gemini 활용 Guided Learning의 학습 효과 측정

시험에서 Guided Learning을 사용한 학생들의 수학 점수는 대조군 대비 +0.258 표준편차 향상되었다. 이는 8주 만에 일반적인 학습 진도의 약 1.2~1.7년 분에 해당한다. 수업의 약 절반에 Gemini를 도입하고 12시간의 목표를 달성한 교실에서는 약 1.8~2.5년 분으로 더 큰 향상이 나타났다. 이용 목표를 달성한 학생은 69%로, 자발적 참여 교육 기술에서 일반적으로 알려진 5%를 크게 웃돌았다.

시험 중 약 113,000건의 대화를 분석한 결과, 대화의 91.4%에서 학생들은 답을 구하기보다 개념 이해를 위해 Gemini를 사용했다. Gemini는 발언의 76%에서 발판이 되는 질문을 던졌고, 직접적인 정답 제시는 2%에 그쳤다. 기술 구축형 질문은 첫 주 68%에서 마지막 주 90%로 늘었고, 정답 요구형 질문은 25%에서 10%로 줄었다. Guided Learning은 LearnLM 연구를 바탕으로, 답을 주기보다 이해를 키우는 것을 우선하도록 설계되었다.

수업 설계, 목표 설정, 교실 토론은 교사가 담당했다. 포커스 그룹에서는 수업 준비에 Gemini를 활용해 분수 등 친숙한 소재의 새로운 설명 방법을 찾았다는 의견이 나왔으며, 많은 교사들이 '강의자'에서 '퍼실리테이터'로의 변화를 언급했다. DeepMind는 Fab AI와 함께 만든 교사용 교육 가이드와 RCT 방법을 정리한 플레이북을 공개했다.

한편 시험 시작 시 수학 실력이 높았던 학생일수록 혜택이 컸던 것으로 나타나, 격차 문제도 드러났다. 향후 시험을 다른 국가로 확대하고, 메타인지와 관계적 지능 같은 영역도 조사할 계획이다. 이번 시험은 Google.org와 Gates Foundation의 지원을 받았으며, EducAid, Laterite, Oxford MeasurEd도 협력했다. Global AI for Learning Alliance(GAILA)의 지원도 계속된다.