같은 영작인데 첨삭이 달라진다: AI 피드백 편향이 교실에 던진 질문

같은 영작 한 편을 두 학생이 냈다고 가정한다. 한 명은 동기 부여가 높은 학생으로, 다른 한 명은 영어학습자로 AI에 소개된다. 그런데 돌아온 첨삭이 다르다. 한쪽은 논증 구조와 근거의 명료성을 다듬으라는 조언을, 다른 쪽은 문법과 이른바 proper English 교정을 더 자주 받는다. Stanford University 연구진이 중학생 에세이 600편을 4개 AI 모델에 넣고 학생 정보를 12차례 바꿔가며 첨삭시킨 실험에서 실제로 나타난 결과다. 한국의 영어학원과 내신 서술형 대비 현장이 이 연구를 그냥 지나칠 수 없는 이유는 분명하다. AI 첨삭은 이미 책상 위에 올라와 있다.

같은 글, 12개의 다른 첨삭이 돌아왔다

실험 설계는 단순하지만 날카롭다. 연구진은 학교가 봉사활동을 의무화해야 하는가, 화성의 언덕을 외계인이 만들었는가 같은 주제로 쓰인 중학생 논증 에세이 600편을 준비했다. 연구 목적으로 수집된 학생 글 모음에서 가져온 자료다. 이 에세이를 4개의 AI 모델에 그대로 넣어 첨삭을 받은 뒤, 같은 글을 12번 더 제출했다. 차이는 단 하나, 글쓴이에 대한 설명이었다. 흑인 또는 백인, 남학생 또는 여학생, 학습장애가 있는 학생, 동기가 높거나 낮은 학생 등으로 작성자를 다르게 명시했을 뿐이다.

그러자 피드백이 흔들렸다. 글의 내용은 같은데, 작성자 라벨이 바뀌면 AI가 짚어주는 부분과 말투, 기대 수준이 함께 바뀌었다. 4개 모델 모두에서 일관된 패턴이 잡혔다는 점이 핵심이다. 특정 모델 한두 개의 결함이 아니라, 현재 교실에 들어와 있는 도구들이 공유하는 경향이라는 뜻이다. 이 논문 〈Marked Pedagogies: Examining Linguistic Biases in Personalized Automated Writing Feedback〉은 아직 정식 학술지 게재 전이지만 노르웨이에서 열리는 제16회 International Learning Analytics and Knowledge Conference에서 최우수 논문 후보로 4월 30일 발표될 예정이다.

흑인·히스패닉·여학생, 라벨에 따라 갈린 코멘트

연구진이 정리한 패턴은 구체적이다. 흑인 학생이 쓴 것으로 표시된 에세이에는 칭찬과 격려가 더 자주 등장했으며 리더십이나 힘(power)을 강조하는 표현이 늘었다. "Your personal story is powerful!" 같은 코멘트가 대표적인 예다. 히스패닉 학생이나 영어학습자(English learner)로 라벨링된 글에는 문법 교정과 이른바 proper English에 대한 지적이 더 많이 붙었다. 백인 학생으로 표시된 글에는 논증 구조, 근거, 명료성에 관한 조언, 즉 글의 아이디어 자체를 강하게 만드는 종류의 피드백이 더 자주 돌아왔다.

여학생으로 라벨링된 경우 AI는 더 다정한 어조를 썼으며 1인칭 대명사 사용이 늘었다. "I love your confidence in expressing your opinion!" 같은 식이다. 동기가 낮다고 표시된 학생에게는 밝은 격려가, 성취도가 높거나 동기가 높다고 표시된 학생에게는 글을 더 정교하게 다듬으라는 직접적이고 비판적인 제안이 돌아왔다. 연구진은 이를 긍정적 피드백 편향(positive feedback bias)과 피드백 보류 편향(feedback withholding bias)으로 정리했다. 칭찬은 더 주되, 정작 글을 키워줄 비판적 조언은 일부 학생에게서 거둬들이고 있다는 진단이다.

국내 영어학원 AI 첨삭 — 무엇이 흔들리나

이 결과를 한국 교실로 옮겨보면 그림이 또렷해진다. 국내 영어학원에서 운영하는 AI 영작 첨삭 시스템은 대부분 학생 정보를 어떤 형태로든 사용한다. 반 배치, 레벨테스트 점수, 학년, 내신 등급, 학습자 특성 메모가 시스템에 입력되며 일부는 프롬프트 단계에서 모델에 그대로 전달된다. A반 상위권, B반 보충 필요, 영어 노출 부족 같은 라벨이 붙은 채로 같은 영작이 들어가면, Stanford 연구가 보여준 흐름과 동일한 일이 일어날 가능성이 있다. 같은 수능형 자유작문이 누군가에게는 논지와 근거 강화 조언으로, 누군가에게는 관사와 시제 교정 위주의 코멘트로 돌아오는 식이다.

문제는 이것이 학습자에게 미치는 누적 효과다. 수능 영어 영역에서 빈칸 추론과 어법 문제를 동시에 다뤄야 하는 고등학생이, AI 첨삭에서 매번 어법 표면 교정만 받으면 글의 논리 구조를 손볼 기회를 잃는다. 반대로 동기가 높다고 분류된 학생은 격려성 멘트를 충분히 받지 못한 채 직설적 비판만 누적될 수 있다. 학원의 AI 도구가 맞춤형을 내세울수록, 학생 라벨이 첨삭 기준 자체를 흔드는 위험은 커진다.

내신 서술형·수능형 쓰기에서 루브릭을 고정한다는 것

대안의 출발점은 루브릭 고정이다. 내신 서술형 평가는 이미 학교마다 채점 기준표를 명시하고 공개하는 방향으로 움직이고 있다. AI 첨삭이 이 흐름을 따라가려면, 학생 정보와 무관하게 같은 항목을 같은 가중치로 본다는 원칙이 시스템에 박혀 있어야 한다. 예를 들어 논증 에세이라면 주장 명확성, 근거의 적절성, 단락 구조, 어휘 다양성, 문법 정확성을 모든 학생에게 동일한 순서와 비중으로 짚는다. 학생이 영어학습자인지 상위권인지에 따라 어떤 항목을 빼거나 비중을 줄이는 일은 시스템에서 차단한다.

실무적으로는 프롬프트 단계에서 학생 인적 정보와 성취도 라벨을 첨삭 모델에 넣지 않는 설계가 가장 깔끔하다. 학생 ID로 진도와 오답 이력만 매칭하며 첨삭 모델 자체는 글과 루브릭만 본다. EBS 수능특강과 EBS 수능완성 영어 지문을 활용한 영작 과제, 모의고사 서답형 연습, 학교 수행평가용 에세이 모두 동일한 채점표를 통과하도록 만들면, 같은 글에 다른 첨삭이 나오는 구조 자체를 줄일 수 있다.

교사 검수 단계는 옵션이 아니라 공정성 장치다

Stanford 연구가 보여준 또 다른 시사점은 AI 단독 운영의 한계다. 4개 모델 모두에서 같은 패턴이 나왔다면, 모델을 바꾸는 것만으로는 해결되지 않는다. 그래서 사람이 끼어들어야 한다. 한국 학원과 학교 현장에서 이 역할을 맡을 수 있는 자리는 분명하다. 강사와 교과 교사다.

운영 모델은 단순화할수록 좋다. AI가 1차 첨삭을 만들면, 강사가 두 가지를 본다. 하나는 루브릭 항목이 빠짐없이 다뤄졌는지다. 다른 하나는 코멘트의 톤과 깊이가 학생의 성취도 라벨과 무관하게 유지됐는지다. 상위권 학생에게도 격려가 한 줄은 들어갔는지, 보충 학생에게도 논지 구조에 대한 한 마디가 있는지 확인하는 식이다. 이 검수 흔적은 학부모 리포트에도 짧게 남길 수 있다. "AI 1차 피드백 + 담당 강사 검수"라는 표기 한 줄이, AI가 다 해준다는 마케팅보다 학원의 신뢰를 더 단단하게 만든다.

학생 맞춤 리포트, 라벨링의 함정을 피하려면

요즘 학원 시스템은 학생 맞춤 리포트를 강점으로 내세운다. 단원평가 점수, 어휘 학습 시간, 영작 완료율, 추천 학습 경로까지 자동 생성된다. 이 리포트의 코멘트를 AI가 작성하는 경우, Stanford 연구의 함정이 여기서도 반복될 수 있다. 집중력이 낮음, 동기 부족, 기초 미흡 같은 라벨이 코멘트 생성 프롬프트에 포함되는 순간, 리포트의 톤이 한쪽으로 쏠리기 쉽다.

피해 가는 방법은 라벨을 평가가 아니라 데이터로만 쓰는 것이다. 동기 부족이라는 해석 라벨 대신, 최근 4주 과제 제출률 60%라는 사실만 시스템에 남긴다. 코멘트 생성 시에는 사실 데이터와 학습 결과만 모델에 전달하며 학생에 대한 해석적 형용사는 사람이 마지막 단계에서 직접 쓴다. 교과 교육과정상 중학교 자유학기제 활동 기록, 고등학교 학교생활기록부 세부능력 및 특기사항(세특)에 들어갈 문장이 AI 초안을 거치는 경우라면 더더욱, 라벨 기반 자동 생성은 위험하다. 학생을 따라다니는 문장이 되기 때문이다.

편향을 줄이는 운영 체크리스트

현장에서 바로 적용하는 점검 항목을 정리하면 다음과 같다. 첨삭 프롬프트에 학생의 인종·성별·성취도 라벨이 포함돼 있지 않은가. 같은 글을 다른 학생 ID로 넣어보면 첨삭이 얼마나 달라지는가, 학원 내부에서 한 번이라도 비교 테스트를 해본 적이 있는가. 루브릭 항목별 코멘트가 모든 학생 리포트에 균일하게 등장하는가. 강사 검수 단계의 소요 시간과 수정률을 기록하고 있는가. 학부모에게 AI 사용 범위와 사람 검수 범위를 명시적으로 안내하는가.

AI 첨삭은 수능 영어와 내신 서술형 대비에서 분명한 효율을 가져다 준다. 한 명의 강사가 30명의 영작을 같은 깊이로 보는 일은 현실적으로 어려우며 AI는 이 격차를 메우는 도구가 될 수 있다. 다만 도구가 학생의 라벨에 따라 기대치를 조정하기 시작하면, 효율은 공정성을 잠식한다. Stanford 연구가 던진 질문은 같은 영작에 같은 기준을 적용하고 있는가라는, 평가의 가장 기본적인 자리로 돌아온다. 그 질문에 운영자가 먼저 답을 알고 있어야, AI 첨삭이 교실에서 오래 살아남는다.