AI가 채점을 무너뜨린 자리, 한국 학원 쓰기평가는 무엇을 다시 세워야 하는가

생성형 AI는 대학 에세이를 무너뜨렸고, 그것은 곧 채점을 무너뜨렸다. 미국 매사추세츠 메리맥 칼리지의 댄 사로피언뷰틴 교수가 Times Higher Education에 쓴 고백은 단순한 미국 대학가의 풍경이 아니다. 한국의 영어학원, 자사고 수행평가, 수능 이후 대입 논술, 그리고 EBS 첨삭 시스템 모두가 같은 질문 앞에 서 있다. 학생이 AI에게 outsourcing 한 결과물을 어떻게 평가할 것인가. 사로피언뷰틴 교수는 3년의 실험 끝에 평가의 무게중심을 기말 논문에서 매 수업 직후 300단어 성찰문으로 완전히 옮겼다. 그리고 자기가 이전보다 더 나은 교사가 되었다고 말한다.

기말 논문 80%에서 매일 성찰문 80%로, 뒤집힌 평가 비중

사로피언뷰틴 교수의 고백은 구체적이다. AI 등장 이전, 그의 최종 성적의 80% 이상은 학생들의 페이퍼 한두 편에 달려 있었다. 루브릭을 만들고, 마감일에 맞춰 들어온 6쪽짜리 리서치 페이퍼를 읽고 점수를 매기는 흐름. 한국 학원가에서도 익숙한 풍경이다. SAT·TOEFL 라이팅 첨삭, 국제학교 IB Extended Essay 가이드, 자사고 영어 에세이 수행평가, 대학 학사편입 논술 모두 '완성된 결과물 한 편'에 평가가 집중된다. 그런데 AI는 그 결과물을 거의 완벽하게 대신 써준다. 학생이 학문 분야와 무관하게 어떤 과제든 AI에게 맡길 수 있게 된 순간, 결과물 중심 평가는 학생의 학습을 측정하는 도구가 아니라 AI 사용 능력을 측정하는 도구로 변질된다.

그래서 그는 비중을 뒤집었다. 오늘 그의 성적의 80%는 학생들이 매 수업 직후 제출하는 300단어 성찰문에서 나온다. 두세 단락 분량의 짧은 글이다. 한국 학원 시스템에 익숙한 표현으로 옮기면, 매 수업 후 영어 단원 끝에 붙은 'Reflection' 칸을 단지 빈칸 채우기가 아니라 평가 본체로 끌어올린 셈이다.

학습은 결론을 쓰는 순간이 아니라 흔들리는 순간에 일어난다

이 전환의 바탕에는 패러다임의 이동이 있다. 사로피언뷰틴 교수는 AI 시대를 거치며 한 가지 사실을 인정해야 했다고 쓴다. 학생의 학습은 6쪽짜리 리서치 페이퍼의 결론 문장을 마무리할 때 일어나지 않는다는 것. 학습은 실시간으로, 작은 이해의 도약과 복잡한 개념을 두고 벌이는 생산적인 씨름, 그리고 '이 문제를 어떻게 생각하는 게 맞는지 모르겠다'는 의심의 순간 사이에서 일어난다.

이 진단은 한국 교육 현장에서 더 아프게 다가온다. 수능 국어 비문학 지문을 풀 때, 학생이 진짜로 사고력을 키우는 순간은 모의고사 채점표가 나오는 시점이 아니다. 지문 두 번째 문단에서 '이게 무슨 말이지' 하고 멈추는 순간, 그 멈춤을 어떻게 빠져나오는지에서 사고가 자란다. 학원 클래스의 영어 에세이도 마찬가지다. 첨삭 받은 빨간펜 결과지가 아니라, 첫 문장을 어떻게 시작할지 망설이는 5분에 학습이 일어난다. 그러나 한국의 거의 모든 평가 시스템은 그 5분을 측정하지 않는다. 측정하지 않으니 가르치지도 않고, 가르치지 않으니 학생도 그 시간을 학습이라고 인식하지 않는다. AI가 그 결과물을 대체하는 순간, 측정 가능한 학습이 사라진 것처럼 보이는 이유가 여기 있다.

300단어 성찰문 루브릭 — 통과·우수·탁월의 3단계

그가 공개한 루브릭은 한국 학원이 그대로 옮겨와도 작동할 만큼 단순하다. 첫째, 그날 수업 주제에 대해 일관된 성찰문을 쓰면 통과 등급(passing grade)을 받는다. 둘째, 자기 사고가 그날 리딩 자료와 어떻게 연결되는지 보여주면 더 나은 등급을 받는다. 셋째, 자기 사고가 수업 바깥의 무언가 — 추가 리서치 또는 본인의 생성형 AI 도구와의 대화 — 로 강화되었음을 보여주면 탁월 등급을 받는다.

주목할 지점은 세 번째 항목이다. AI와의 대화 기록이 평가에서 배제되는 것이 아니라, 오히려 최고 등급의 조건으로 명시적으로 들어가 있다. 한국 학원이 흔히 빠지는 이분법 — 'AI 사용 금지 vs. AI 탐지 강화' — 을 정면에서 깨는 설계다. 학생에게 'AI를 쓰지 마라'가 아니라 'AI와 어떤 대화를 했고, 그 대화가 너의 사고를 어떻게 바꿨는지 보여달라'고 요구한다. 평가의 대상이 결과물에서 사고의 궤적으로 옮겨갔기 때문에 가능한 설계다. 한 학생은 학기말 강의 평가에서 이 성찰문 형식이 '수업에서 다룬 내용에 대해 깊이 생각하고, 분석하고, 자기 생각을 풀어 쓰고, 관련 주제에 대한 질문을 던질 수 있게 해준다'고 적었다.

50명에서 150명까지, 대형 강의에서 정말 가능한가

한국 학원 운영자나 고교 교사가 이 모델을 들으면 가장 먼저 떠올릴 의문이 있다. '한 반에 몇 명인데 매일 그걸 다 읽나.' 사로피언뷰틴 교수도 같은 환경에 놓여 있다. 그는 학기당 50명에서 150명에 이르는 대형 강의를 가르친다. 그리고 학생들의 성찰문을 모두 직접 읽고 채점한다고 명시한다. 그가 이 부담을 받아들인 논리는 명료하다. 어차피 긴 페이퍼를 읽는 데 그만큼의 시간을 썼을 것이고, 솔직히 말하면 완성된 최종 페이퍼를 읽기보다 자기가 방금 가르친 주제 위에서 학생의 사고가 움직이는 모습을 보는 편이 낫다는 것이다.

한국 학원 현실에 그대로 적용하기는 어렵다. 한 강사가 하루에 4타임, 타임당 20명을 가르치면 매일 80개의 성찰문이 쌓인다. 다만 이 모델의 핵심은 '교사 한 명이 모두 읽는다'가 아니라 '결과물 한 편이 아니라 사고의 흐름이 평가 단위'라는 점에 있다. 한국형 변형은 충분히 가능하다. 주 1회 단원 마무리 시점에 200~300자 한국어·영어 혼용 성찰문, 클래스 단톡방·LMS 게시판에 누적되는 짧은 글, 강사가 모두 채점하기보다 짧은 코멘트 한 줄을 다는 방식, 학기말에 누적된 성찰문 묶음을 수행평가 자료로 환산하는 방식. 핵심은 평가의 단위를 '한 편의 완성품'에서 '여러 개의 흔들림의 기록'으로 옮기는 발상이다.

실시간 피드백 — 강사가 다음 수업을 다시 짜는 도구

이 모델의 숨은 장점은 학생 평가가 아니라 강사 자신을 위한 진단 도구라는 점에 있다. 사로피언뷰틴 교수는 성찰문을 읽다 보면 '많은 학생이 내가 방금 가르친 개념을 제대로 이해하지 못했다'는 사실이 보인다고 쓴다. 그러면 다음 수업에서 다른 접근법으로 다시 설명하고, 그에 대한 학생들의 성찰문을 또 읽는다.

한국 학원 강사라면 누구나 익숙한 감각이다. 모의고사 결과지가 학원에 도착할 때쯤이면 이미 진도는 두 단원 앞으로 나가 있다. 수능 D-100을 외치며 진도를 빼는 동안, 학생이 어디서 막혔는지 진단할 도구는 사실상 없다. 내신 대비 기간에는 더하다. 기출 풀이 강의를 끝내고 시험장에 들어간 학생이 어느 문제에서 무너졌는지, 채점 결과가 나오기 전에는 강사도 모른다. 매 수업 직후 200~300자 성찰문은 그 공백을 메우는 가장 가벼운 진단 도구가 될 수 있다. 학생에게는 자기 사고를 언어화하는 훈련, 강사에게는 내일 수업의 설계도가 동시에 되는 구조다.

AI 탐지 군비경쟁이 아니라 평가 설계 자체의 이동

한국 영어학원과 고교 현장에서 AI 대응은 대부분 두 방향으로 굳어지고 있다. 하나는 AI 탐지 솔루션 도입, 다른 하나는 시험장 손글씨 회귀. 둘 다 결과물 중심 평가를 지키기 위한 방어선이다. 그러나 사로피언뷰틴 교수의 사례가 보여주는 것은, 그 방어선 자체가 AI 시대의 학습 진정성을 확인하기에 부적절한 도구라는 점이다. 손글씨로 6쪽을 베껴 써도 그 사고가 학생의 것인지는 증명되지 않는다. AI 탐지 정확도가 99%에 이른다 해도, 학생이 '어디서 막혔고 어떻게 빠져나왔는지'는 알려주지 못한다.

대안은 평가 단위의 이동이다. 첫째, 매 수업 직후 짧은 성찰문 — 한국어·영어 혼용 가능 — 을 누적 기록한다. 둘째, 그날 다룬 텍스트의 어떤 문장이 자기 생각을 흔들었는지 근거로 연결하게 한다. 셋째, AI와 어떤 질문을 주고받았는지 대화 기록을 평가 자료로 첨부하게 한다. 넷째, 학기말에 그 누적물 위에서 한 번의 정리 글을 쓰게 한다. 이 흐름이 자리 잡으면, AI는 평가의 적이 아니라 평가 안에 들어온 학습 도구가 된다. 사로피언뷰틴 교수의 표현을 빌리면, AI는 그를 비판적 사고로의 인지적 도제식 수업이라는 교사의 본질로 다시 데려갔다.

한국 학원이 지금 결정해야 하는 것

AI 탐지 도구 라이선스를 갱신할 것인지, 평가 설계 자체를 다시 짤 것인지. 이것은 기술 도입의 문제가 아니라 '학생의 학습이 언제, 어디서 일어나는가'에 대한 입장의 문제다. 결과물 한 편을 잘 만들어내는 능력을 평가할 것인가, 아니면 매 수업의 흔들림과 그 흔들림을 빠져나오는 사고의 궤적을 평가할 것인가. 전자는 AI에게 빠르게 잠식당하는 영역이고, 후자는 AI가 흉내 낼 수 없는 영역이다. 정확히는, AI를 도구로 쓰는 학생의 사고 과정을 그 자체로 평가에 끌어들이는 영역이다. 한국 학원과 고교 수행평가가 다음 학기에 가장 먼저 시도해볼 만한 일은, 다음 진도 한 단원의 평가 비중에서 결과물의 비중을 80%에서 50%로 내리고, 매 수업 직후 200~300자 성찰문에 30%를 새로 배정하는 일이다. 작은 이동이지만 평가 철학 전체가 따라온다.