도구를 들이는 속도가 증거를 앞질렀다: AI 교육 효과, '증거가 거의 없다'는 그 한 문장

인사이드 하이어 에드에 따르면 캘리포니아 주립대(CSU) 시스템은 2025년 오픈AI와 1,700만 달러 규모 계약을 맺었고, 오픈AI는 CSU를 포함한 여러 대학에 라이선스를 70만 개 이상 판매했다. 다트머스대 시안 리아 베일락 총장은 2026년 9월 디 애틀랜틱 기고에서 "AI가 규정할 세상에서 이를 생산적으로 쓸 줄 아는 졸업생을 배출하지 못하는 대학은 스스로 존재 의의를 잃게 될 것"이라며 "다트머스에 더 많은 AI를"이라고 썼다.

이 칼럼의 해석으로는, 이 기사가 보여주는 진짜 이야기는 대학들이 AI를 도입하고 있다는 사실 자체가 아니라 그 도입 속도와 근거의 양이 서로 맞지 않는다는 데 있다.

업계와 총장들의 확신, 그리고 증거의 실제 상태

인사이드 하이어 에드에 따르면 MIT 교수법 시스템 연구소(Teaching Systems Lab) 디렉터 저스틴 라이시는 좋은 제품을 만들고 엄밀하게 검증하는 데는 오랜 시간이 걸리는데 그 검증에 쓸 연구비는 거의 없다고 말했다.

저스틴 라이시, MIT 교수법 시스템 연구소 디렉터, 인사이드 하이어 에드 인터뷰. 이 칼럼의 해석으로는, 우리말로 옮기면 "증거 기반은 거의 존재하지 않는다"는 이 한 문장이 이번 기사 전체의 핵심이다. 라이시는 AI 학습도구가 실제로 학습 성과를 개선하는지에 대한 독립적 연구가 사실상 없다고 진단했다. 대학이 수백만 달러를 걸고 총장이 공개적으로 "더 많은 AI"를 요구하는 동안, 그 판단을 뒷받침할 독립적 연구는 사실상 없다는 뜻이기 때문이다.

왜 검증이 유독 이렇게 어려운가

인사이드 하이어 에드에 따르면 대규모 무작위 대조군 실험(RCT)이 AI의 학습 효과를 가리는 가장 확실한 방법이겠지만, 미국 연방정부(2025년에 교육과학연구소의 기능을 크게 축소했다)나 민간 기부자·후원자는 통상 이런 연구에 자금을 대지 않는다. 라이시는 설령 잘 설계된 RCT 하나가 나오더라도 그 결과가 틀렸을 수도 있고, 맞더라도 다른 맥락에 잘 일반화되지 않을 수 있다고 지적했다. 그는 학생들에게 인터넷 검색을 가르치는 좋은 방법을 연구자들이 찾아내는 데도 오랜 시간이 걸렸다며, "학생들에게 LLM 사용법을 어떻게 가르칠지에 대한 좋은 계획을 세우는 데도 수십 년이 걸릴 수 있다"고 말했다.

인사이드 하이어 에드에 따르면 교사 전문성 개발 연구 파트너십(Research Partnership for Professional Learning)의 스테이시 알리시아 상무이사는 문제를 이렇게 짚었다. AI 모델은 예전엔 6개월마다 바뀌었지만 지금은 1~3개월마다 바뀌고, LLM의 기준 데이터도 매주 달라져 전통적 연구 모델이 따라갈 수 없다는 것이다. 연구자가 어떤 결과를 얻었을 때쯤이면 그 결과는 이미 낡았거나 일반화할 수 없는 경우가 많다고 그는 덧붙였다.

개별 도구가 아니라 기능을 연구해야 한다는 제안, 그리고 이미 나온 경고 신호

인사이드 하이어 에드에 따르면 CSU가 오픈AI와 계약한 뒤 교수·학생 약 10만 명을 설문한 결과 대부분이 챗GPT를 가장 많이 쓴다고 답했다. 알리시아에 따르면 지금 시장에는 학생용 도구가 1,000개를 넘게 나와 있는데, 교육 예산이 삭감되고 학생 데이터 프라이버시 우려도 큰 상황에서 이 도구들을 동시에 하나하나 개별 연구하기는 어렵다. 그래서 그는 도구 자체가 아니라 여러 도구에 공통으로 구현된 '기능'을 연구해야 하며, 그 도구들이 교사와 학생이 함께 쓰는 다른 도구들과 어떻게 상호작용하는지까지 봐야 한다고 제안했다. 스탠퍼드대 SCALE(Systems Change Advancing Learning and Equity) 이니셔티브의 칼리 로빈슨(Carly Robinson) 연구디렉터는 또 다른 난점을 짚었다. 학생들이 AI 도구를 꾸준히 쓰게 만드는 것부터가 쉽지 않아서, 이를 검증하려면 학생들이 도구에 관여하도록 실험 설계를 세심하게 해야 한다는 것이다.

이 칼럼의 해석으로는, 이 대목에서 특히 주목해야 할 것은 아이비테크 커뮤니티칼리지의 패트릭 오닐 부교수가 2026년 8월 발표한 예비 연구 결과다. 인사이드 하이어 에드에 따르면 그는 AI가 효과적인 학습 도구라고 주장하는 기존 동료심사 연구 몇몇이 통계를 잘못 적용하거나 잘못 계산·해석한 결함 있는 방법론에 기반해 있다고 지적했다. 반면 그가 "방법론적으로 견실하다"고 평가한 일련의 연구들은 "지도 없이(without guidance) LLM에 접근하는 것이 비판적 사고력 형성에 역효과를 낸다"는 결과를 보여준다고 밝혔다. 로빈슨도 비슷한 우려를 내놓았다. AI가 학습에 도움이 될 잠재력이 있다는 근거는 늘고 있지만, 의도적 설계나 가드레일(guardrails) 없이 AI만 쓰면 오히려 '인지적 위탁(cognitive offloading)'을 통해 학습을 저해할 가능성이 높다는 것이다.

인사이드 하이어 에드가 보도한 수치와 알리시아가 제시한 수치를 정리하면 다음과 같다. 오픈AI가 CSU 시스템 등 여러 대학에 판매한 라이선스 70만 개 이상. CSU-오픈AI 계약 규모 1,700만 달러(2025년). CSU 설문 응답자 약 10만 명(교수·학생), 가장 많이 쓰는 도구는 챗GPT. 알리시아에 따르면 시장에 나온 학생용 AI 도구 1,000개 초과. AI 모델 갱신 주기 예전 6개월→현재 1~3개월(알리시아).

한국의 학원·학교가 지금 가져가야 할 질문

이 칼럼의 해석으로는, 이 기사가 미국 대학 얘기라고 해서 한국과 무관하지 않다. 오닐이 지적한 "지도 없는 LLM 접근이 비판적 사고에 역효과를 낸다"는 결과와, 로빈슨이 짚은 "가드레일 없는 AI 사용은 인지적 위탁으로 학습을 저해할 수 있다"는 우려는 한국의 학원과 학교에도 검증해 볼 만한 가설을 제공한다. AI가 답을 대신 만들어 주는 방식으로 쓰이는 학습 환경과, 학생이 AI의 결과물을 평가하고 스스로 다시 구성하도록 설계된 학습 환경이 같은 결과를 내지는 않을 것이라는 가설이다. 다만 이 기사 자체가 한국의 도입 속도나 동기를 다루지는 않으므로, 이는 어디까지나 미국 사례에서 끌어낸 적용 가설로 읽어야 한다.

이 칼럼의 해석으로는, 도구를 얼마나 빨리 들여오는가보다 어떤 학습 성과를 어떤 조건에서 검증할 것인지를 먼저 정하는 것이 순서다.

출처: Inside Higher Ed — The "Nonexistent" Research on AI's Benefits for Education (2026-09-14)