AI 튜터를 깔아줘도 학생은 2분 쓰고 나간다

에듀테크 업체는 AI 튜터를 사람 교사가 따라올 수 없는 규모의 개인 맞춤 수업으로 판다. 한 명의 강사가 서른 명을 동시에 못 보는 자리를 알고리즘이 메운다는 약속이다. 강의실 한 칸에 깔린 단말기가 학생 수만큼의 일대일 교사를 대신한다는 그림이 이 산업의 핵심 세일즈 포인트다. 스탠퍼드대학 연구진은 이 약속을 그대로 믿는 대신, 한 유명 AI 읽기 튜터를 학생들이 실제로 얼마나 쓰는지 들여다봤다. 6월 17일 공개된 결과는 정반대였다. 두 학군에서 수백 명의 초등학생에게 수업 시간이나 방과 후에 전용 시간을 떼어주고 주 2회 30분씩 접속하도록 했는데, 독립 학습에 배정된 학생 중 첫 학군은 60%가 조금 넘는 수, 둘째 학군은 53%만 플랫폼에 한 번이라도 로그인했다. 절반 가까운 학생은 시간과 기기가 주어졌는데도 첫 화면조차 열지 않았다는 뜻이다. 학원가에서 단말기와 라이선스부터 깔고 보는 한국 교실에 그대로 겹쳐지는 장면이다. 접근권을 늘리는 일과 학습을 늘리는 일은 같은 일이 아니라는 사실을, 이 연구는 숫자로 보여준다. 좋은 도구를 손에 쥐여주는 것과 그 도구가 실제로 펼쳐지는 것 사이에는, 데이터로 드러나는 넓은 간극이 있다. 도입을 결정하는 사람과 그 도구를 매일 켜는 사람이 다르다는 단순한 사실이, 이 간극의 한가운데에 있다. 예산을 들여 깔아두는 일은 끝이 아니라 시작일 뿐이라는 것을, 두 학군의 로그인 숫자가 먼저 말해준다. 도구의 성능을 의심하기 전에, 학생이 그 도구 앞에 앉기까지의 과정을 먼저 의심해야 한다는 순서를 이 연구는 일러준다.

접속 버튼까지 가는 학생이 절반뿐이었다

연구는 약 350명을 두 개의 무작위 대조 시험으로 추적했다. 무작위 배정은 "원래 공부 잘하는 아이만 썼다"는 변명을 차단하는 설계다. 누가 도구를 쓸지 사람이 고르지 않고 제비뽑기에 맡겼으니, 사용량 차이를 학생의 원래 성향 탓으로 돌릴 길이 막힌다. 모든 학생은 주 2회, 한 번에 30분씩 접속하기로 되어 있었다. 종이 위 계획대로라면 주당 60분이다. 그런데 전체 학생 기준 주간 평균 사용 시간은 A 학군에서 2분 남짓, B 학군에서 5분 남짓이었다. 계획의 30분의 1, 많아야 12분의 1만 실제로 쓰인 셈이다. 정해진 시간을 떼어주고 기기를 쥐여줘도 그 자리에서 빠져나간 학생이 절반에 가까웠다. 논문 책임저자이자 스탠퍼드 SCALE 이니셔티브 연구책임자인 칼리 로빈슨은 이 간극이 놀랍지 않다고 말했다. "AI 도구를 교실로 들여오는 이야기를 할 때 과제는 좋은 AI를 만드는 일만이 아니다. 학생이 그걸 쓰게 하고, 효과적으로 붙들리게 하는 일이다." 한국 학원이 매년 새 학습 앱을 도입하며 출석률 대신 설치율을 보고하는 관행을 정확히 찌르는 지점이다. 계정 발급 수와 다운로드 수는 도입 성과처럼 보이지만, 학습이 일어났다는 증거는 아니다. 평가 도구는 책상 위에 있다고 작동하지 않는다. 깔린 라이선스의 수가 아니라 열린 화면의 수를 세야, 도입이 성과로 이어졌는지 비로소 보인다. 학생이 시간과 기기를 모두 받고도 빠져나갔다는 점은, 문제의 원인을 자원 부족이 아닌 다른 곳에서 찾아야 한다는 신호이기도 하다. 무작위 대조라는 엄격한 설계 위에서 나온 숫자이기에, 이 절반이라는 결과는 한 학교의 특수한 사정으로 치부하기 어렵다.

로그인한 학생도 4~5주 쓰고 손을 놓았다

그렇다면 아예 안 쓴 학생을 빼고, 접속을 한 학생만 따로 떼어보면 사정이 나을까. 숫자는 그래도 길지 않았다. 로그인한 학생의 주간 평균 사용은 A 학군 13.2분, B 학군 25.8분이었다. 실제로 도구를 연 아이들조차 정해진 60분의 절반에도 못 미쳤다. 가장 적극적으로 쓴 집단을 골라내도 계획의 절반을 채우지 못했다는 뜻이니, 전체 평균이 2~5분에 머문 것이 일부 극단값 탓이 아님을 보여준다. 더 눈에 띄는 건 지속 기간이다. 개입 기간은 학군에 따라 14주에서 31주까지 이어졌는데, 학생들이 실제로 튜터를 쓴 기간은 평균 4~5주에 그쳤다. 길게 잡힌 학기의 앞머리 한 달 남짓만 반짝 쓰다 멈춘 셈이다. 한국 학원에서 방학 특강용으로 들여온 AI 문법·어휘 프로그램이 3월 개강 무렵 접속 로그가 비는 것과 같은 곡선이다. 도입 직후의 신선함이 빠지면 사용이 무너진다는 패턴은 국경과 무관하게 반복된다. 다만 로빈슨은 이 데이터가 AI의 효과나 학생의 흥미 여부를 결론짓지 않는다고 선을 그었다. "이건 꼭 학생들이 흥미를 잃은 게 아니다." 두 학군에서 그 AI 플랫폼은 교사가 쓸 수 있는 여러 도구 중 하나였을 뿐이라는 단서를 달았다. 다시 말해 학생이 싫어서 떠난 게 아니라, 굳이 그 도구로 돌아올 이유가 일과 안에 심어지지 않았던 것에 가깝다. 선택지가 여럿일 때 굳이 한 도구를 다시 켜게 만들려면, 도구 바깥의 장치가 필요하다는 함의다. 신선함이 동력일 때 그 동력은 한 달이면 바닥난다는 것을, 4~5주라는 평균 사용 기간이 거의 정확히 가리킨다. 14주에서 31주까지 길게 마련해 둔 학기 일정이 무색하게, 정작 도구가 살아 있던 구간은 그 앞머리뿐이었다.

사람을 한 명 붙이자 사용이 움직였다

연구진은 도구만 바꾸는 대신 사람을 끼워 넣어 봤다. 일부 학생을 몇몇 동급생, 그리고 인간 튜터와 함께 묶어 같은 플랫폼을 쓰게 했다. 핵심은 이 튜터의 역할이다. 튜터의 일은 가르치는 게 아니라 참여와 동기를 받쳐주고 문제가 생기면 풀어주는 것이었다. 콘텐츠를 더 좋게 만든 게 아니라, 같은 콘텐츠 옆에 사람을 앉힌 실험이라는 뜻이다. 변수를 도구가 아니라 사람 하나로 고정했기에, 변화가 나타난다면 그 원인을 사람의 존재로 좁힐 수 있는 설계다. 한 번의 수업은 짧은 점검, 15분 플랫폼 학습, 몇 분의 회고로 짜였다. 결과는 분명했다. 주간 사용 시간이 A 학군에서 1분가량, B 학군에서 4.4분 늘었다. 학생이 완료한 이야기 편수는 A 학군 71%, B 학군 80% 뛰었다. 사용 시간의 절대값은 여전히 작아 보여도, 완료한 학습량이 70~80% 늘었다는 점은 가볍지 않다. 짧은 시간이라도 끝까지 마친 학습의 밀도가 올라갔다는 신호이기 때문이다. 흥미로운 대목은 B 학군의 튜터 정체다. 이들은 학교 일과 중 비는 개입 시간을 가진 중학생이었다. 전문 강사도, 교사도 아닌 또래에 가까운 사람이 옆에 앉은 것만으로 숫자가 움직였다. 가르치는 전문성이 아니라 곁에 있는 존재 자체가 사용을 끌어냈다는 점이 이 결과의 핵심이다. 비싼 인력을 새로 고용해야만 사용이 오르는 게 아니라는 신호다. 한국 학원의 자습 감독, 과외 선생의 옆자리 효과가 데이터로 찍힌 모양새다. 사람을 붙이는 처방이 반드시 고비용일 필요는 없다는 점에서, 작은 학원도 따라 해볼 여지가 있다. 더 좋은 알고리즘이나 더 비싼 콘텐츠가 아니라, 옆자리에 앉은 사람 하나가 사용량을 움직인 변수였다는 결론은 도입 예산의 우선순위를 다시 짜게 만든다. 같은 플랫폼을 두고도 사람의 유무가 완료 편수를 70~80% 갈랐다면, 투자해야 할 곳은 콘텐츠 단가가 아니라 곁에서 챙기는 구조라는 뜻이다.

그래도 읽기 성적은 오르지 않았다

사람을 붙여 사용량을 끌어올린 것까지는 성공이었다. 그런데 성적은 따라오지 않았다. 두 학군 모두 학년말 읽기 성취에서 통계적으로 유의미한 향상이 없었다. 사용 시간과 완료 편수라는 중간 지표는 올랐는데, 최종 점수라는 결과 지표는 멈춰 있었던 것이다. 과정 지표와 성과 지표가 함께 움직이지 않을 수 있다는 사실을, 이 연구는 한 화면 안에서 보여준다. 로빈슨은 이 연구가 애초에 성적 향상을 주된 목표로 삼지 않았다고 설명했다. 사람을 방정식에 더했을 때의 전체 효과, 곧 책임감과 동기, 관계 형성을 제공하는 존재가 무엇을 바꾸는지를 본 연구였다. 따라서 "성적이 안 올랐으니 실패"라고 읽는 것은 연구 설계를 넘는 해석이다. 그럼에도 이 결과는 한국 학원가가 AI 도구를 도입하며 내거는 "성적 보장" 문구를 다시 보게 만든다. 사용 시간이 늘었다고 내신이 오른다는 보장은 이 데이터에 없다. 접속이 곧 학습이고 학습이 곧 점수라는 매끈한 연결은, 실제 측정 앞에서 중간이 끊긴다. 광고 문구 속에서는 한 줄로 이어지던 인과가, 학년말 시험지 앞에서는 두 동강이 났다. 수능 국어 비문학 지문 풀이를 AI에게 맡긴다 해도, 접속과 점수 사이에는 사람이 채워야 할 빈칸이 남는다. 도구를 들이는 결정과 성적을 약속하는 결정은, 같은 근거 위에 설 수 없는 별개의 약속이다. 사용량을 끌어올린 처방이 곧바로 점수로 번역되지 않았다는 사실은, 사람을 붙이는 일조차 만능 해법은 아니라는 점을 함께 일러준다. 중간 지표가 올랐다고 안심하기 전에, 그것이 결과 지표로 이어졌는지를 따로 확인해야 한다는 절차의 교훈이 여기 남는다.

칸 아카데미 창립자도 같은 말을 했다

이 패턴을 본 사람은 스탠퍼드 연구진만이 아니다. 이번 발견은 칸 아카데미 창립자 살 칸이 4월에 한 말과 겹친다. 칸은 2023년 자사 AI 챗봇 칸미고를 풀었을 때 많은 학생에게 그것이 "무사건"이었다고 했다. "그냥 별로 안 썼다." 세계에서 가장 널리 알려진 무료 교육 플랫폼이 만든 AI 튜터조차 같은 벽에 부딪혔다는 증언이다. 자원과 기술이 부족해서가 아니라, 사용이라는 문제는 자원과 기술의 바깥에 있다는 점을 같은 현상이 두 곳에서 가리킨다. 화면 속 똑똑한 튜터가 24시간 대기해도, 학생이 먼저 손을 뻗지 않으면 아무 일도 일어나지 않는다. 한국에서 EBS 강의 무료 개방과 인터넷 강의 보급이 사교육 격차를 단숨에 메우지 못한 역사와 같은 결을 가진다. 좋은 콘텐츠를 공짜로, 무제한으로 깔아줘도 그것을 여는 행위는 별도의 문제로 남았다. 좋은 콘텐츠의 존재와 학생의 사용은 다른 층위의 문제다. 로빈슨의 표현을 빌리면 도구가 아무리 좋아도 아이들의 학습 경험 안에 박혀 있지 않으면 쓰이지 않는다. 교육과정에 끼워 넣는 설계, 교사와 학생 양쪽에 말을 거는 "의도적 설계"가 빠지면 라이선스 비용만 남는다. 칸미고가 많은 학생에게 "무사건"으로 끝났다는 고백은, 기술의 완성도가 사용의 문제를 자동으로 풀어주지 않는다는 점을 자원이 가장 넉넉한 쪽에서 입증한 사례다. 스탠퍼드의 숫자와 살 칸의 증언이 같은 방향을 가리키는 이상, 한국 학원이 이 패턴을 자기 교실의 예외로 여길 근거는 약하다.

다음 수업에서 바꿀 한 가지

이 연구가 강사에게 주는 실천은 단순하다. 새 AI 도구를 들일 때 설치율이 아니라 첫 4주의 접속 로그를 평가 지표로 삼는 것이다. 학생들이 실제로 튜터를 쓴 기간이 평균 4~5주였다는 데이터가, 바로 그 첫 한 달이 승부처임을 알려준다. 그 한 달을 놓치면 나머지 학기 내내 접속 로그가 비는 곡선이 기다린다는 뜻이기도 하다. 학생에게 계정을 나눠준 날을 시작점으로, 누가 한 번이라도 들어왔고 누가 평균 13분을 넘겼는지 주 단위로 본다. 절반은 아예 안 들어온다는 사실을 전제로 깔면, 미접속 학생을 일찍 골라내 따로 붙드는 일이 가능해진다. 그리고 B 학군의 중학생 튜터가 한 역할을 자습 구조에 심는다. 가르치는 사람이 아니라 옆에서 점검하고 회고를 받는 사람 한 명을 붙이는 일이다. 전문 강사가 아니어도 효과가 났다는 점이 이 처방의 비용을 낮춘다. 짧은 점검 5분, 도구 학습 15분, 회고 5분이라는 한 차시 틀을 그대로 가져와 내신 대비 자습이나 과외 사이 시간에 끼운다. 사용 편수는 그것만으로 70% 넘게 오른다. 이 틀의 강점은 새 강사를 뽑지 않고도 돌아간다는 데 있다. B 학군에서 옆자리를 지킨 이가 빈 시간을 가진 중학생이었던 만큼, 한국 학원도 선배 수강생이나 보조 인력에게 점검과 회고만 맡기면 같은 구조를 흉내 낼 수 있다. 다만 성적이라는 마지막 칸은 여전히 강사의 몫으로 남는다. 도구가 채우는 것은 시간이고, 그 시간을 점수로 바꾸는 일은 사람이 한다는 사실을 데이터가 다시 확인해준다. 정리하면 이 연구가 한국 학원가에 건네는 메시지는 세 겹이다. 첫째, 깔아주는 것만으로는 절반도 들어오지 않으니 설치율을 성과로 착각하지 말 것. 둘째, 첫 4주 안에 옆자리 사람을 붙여 사용을 붙들 것. 셋째, 사용이 늘어도 성적은 별도의 일이니 점수까지의 마지막 구간은 강사가 직접 메울 것. 세 가지 모두 새 예산이 아니라 운영 방식의 문제라는 점에서, 오늘 자습 시간표만 손봐도 시작할 수 있는 처방이다. AI 튜터가 약속한 규모의 개인화는 도구 혼자 완성하지 못하며, 그 빈칸을 채우는 사람의 자리는 이 데이터 앞에서 오히려 또렷해진다.