지속적 학습이 필요한 이유 — a16z가 던진 질문을 한국 영어 학습에 비추다

a16z 인프라 부문에서 Malika Aubakirova와 Matt Bornstein이 공개한 'Why We Need Continual Learning'은 대규모 언어모델(LLM)이 배포 시점의 파라미터에 지식이 동결된 채 새로운 경험을 내재화하지 못한다는 문제를 정면으로 다룬다. 글은 크리스토퍼 놀란의 영화 메멘토 속 주인공 레너드를 비유로 끌어온다. 매 순간 기억이 리셋되는 레너드가 문신과 폴라로이드로 외부 단서를 붙여 살아가듯, 오늘의 LLM도 채팅 히스토리·검색 시스템·시스템 프롬프트라는 외부 비계에 의존한다는 것이다. 이 문제의식은 수능 영어와 내신 영어를 준비하는 한국 학습 현장에서도 그대로 통한다. 단기 문제풀이로 채워진 머리는 시험 직후 리셋되고 학생은 다음 단원에서 다시 영점에서 출발한다.

메멘토의 비유, 그리고 한국 교실의 단기 기억

a16z 글이 던지는 첫 장면은 인상적이다. 레너드는 새로운 기억을 만들지 못하기 때문에 몸에 문신을 새기고 폴라로이드를 찍어 자신의 뇌가 붙잡지 못하는 것을 외부에 기록한다. 저자들은 LLM도 같은 영원한 현재에 갇혀 있다고 말한다. 학습이 끝난 순간 파라미터는 얼어붙고 이후 들어오는 모든 정보는 컨텍스트 윈도우라는 임시 메모지 위에 잠깐 머무를 뿐이다.

한국 중·고등 영어 수업의 단기 문제풀이 루틴이 정확히 이 구조를 닮았다. 모의고사 한 회를 풀고 해설을 듣고 나면, 그 회차의 빈칸 추론 지문에 등장한 어휘와 구문은 다음 주가 되면 흩어진다. 학생의 노트는 폴라로이드처럼 책상 위에 쌓이지만 머릿속 파라미터는 갱신되지 않는다. EBS 연계교재를 한 바퀴 돌고 두 바퀴째 들어갔을 때 같은 어휘를 또 모르는 경험이 반복되는 이유다. 메멘토의 비유는 학습자에게 묻는다. 외부 메모에만 의존할 것인가, 아니면 머릿속 파라미터 자체를 압축해 다시 쓸 것인가.

인컨텍스트 학습은 잘 작동한다 — 그리고 그 한계

저자들은 파라미터 학습을 옹호하기에 앞서 인컨텍스트 학습(ICL)이 충분히 강력하다는 점을 인정한다. 트랜스포머는 시퀀스 위에서 다음 토큰을 예측하는 조건부 예측기이고 가중치를 건드리지 않아도 프롬프트와 몇 개의 예시만으로 풍부한 행동을 끌어낼 수 있다. 글은 Cursor의 자율 코딩 에이전트 사례를 인용하며 "하니스와 모델도 중요하지만 프롬프트가 더 중요하다"는 문장을 그대로 가져온다. OpenClaw 역시 특별한 모델 접근권 없이 컨텍스트와 도구를 작업 상태로 잘 변환했기 때문에 두각을 드러냈다고 소개된다.

이 관점은 한국 학원의 AI 튜터 도입 논의에 직접 닿는다. 같은 GPT 계열 모델을 쓰면서도 어떤 학원의 튜터는 학생의 오답 패턴을 잘 잡아내고 어떤 곳은 일반 챗봇 수준에 머문다. 차이는 모델이 아니라 컨텍스트 설계다. 어떤 오답을 다시 주입할지, 어떤 시점에 요약할지, 학생의 내신 범위와 수능 어휘 진도를 어떻게 프롬프트에 결합할지가 결과를 가른다. "Janky but native"라는 표현이 말하듯, 프롬프트는 처음에는 임시방편처럼 보였지만 트랜스포머 구조에 가장 잘 맞는 인터페이스로 자리 잡았다.

그러나 ICL이 닿지 못하는 영역

글의 핵심 주장은 이 지점에서 갈라진다. 답이 이미 세상 어딘가에 존재하는 문제라면 ICL로 충분하다. 그러나 새로운 수학적 발견 같은 진짜 탐색이 필요한 문제, 보안처럼 적대적 시나리오가 끝없이 변하는 영역, 그리고 언어로 명시하기 어려운 암묵지(tacit knowledge)는 모델이 배포 이후에도 자신의 파라미터를 직접 갱신해야 한다는 것이다. 저자들은 "ICL은 일시적이며 진짜 학습은 압축을 요구한다"고 못박는다.

한국 학습자에게 이 구분은 의미가 크다. 수능 영어 빈칸 추론에서 자주 나오는 추상 어휘와 구문은 단순히 단어장을 옆에 끼고 푸는 것으로는 체화되지 않는다. 풀이 순간에는 사전과 해설이라는 외부 컨텍스트로 답을 맞히지만 시험장에서는 외부가 사라진다. 파라미터 — 학습자의 장기 기억 — 안에 어휘 의미망과 구문 패턴이 압축돼 있어야 한다. 내신 서술형 또한 마찬가지다. 학생이 직접 영작할 때 동원되는 표현은 노트 어딘가에 적어둔 문장이 아니라 머릿속에 자리 잡은 구문이다. ICL식 학습과 파라미터식 학습의 구분은 학습자에게 "무엇을 외부 메모에 맡기고 무엇을 내 머리에 압축할 것인가"라는 질문으로 번역된다.

지속적 학습 — 1989년부터 이어진 오래된 과제

a16z 글은 지속적 학습(continual learning)이라는 이름의 연구 분야가 1989년 McCloskey와 Cohen의 작업까지 거슬러 올라간다는 점을 짚는다. 새로운 개념은 아니어도 지난 2~3년 사이 모델 능력이 폭발적으로 성장하면서 모델이 아는 것과 모델이 알 수 있는 것 사이의 간극이 두드러지게 보이기 시작했다는 것이다. 저자들은 이 분야가 지금 AI에서 가장 중요한 작업 중 하나라고 평가하면서 다양한 접근법을 정리하고 스타트업 생태계로 확장하려는 의도를 글의 목표로 밝힌다.

이 시점 진단은 한국 교육 시장에도 거울이 된다. 학원과 에듀테크는 지난 몇 년간 LMS, 오답노트 앱, AI 튜터, 학습 분석 대시보드를 빠르게 도입했다. 그러나 도입된 도구가 학생 한 명의 누적 데이터를 정말로 압축해 다음 학습에 반영하는지는 별개의 문제다. 많은 시스템은 여전히 외부 메모지 수준에 머문다. 학생의 오답이 누적되어도 다음 주 수업 자료는 진도표대로 똑같이 나간다. 모델로 치면 컨텍스트만 갈아끼우고 파라미터는 그대로인 셈이다. 지속적 학습이라는 개념이 1989년부터 살아남은 이유는, 이 압축의 어려움이 그만큼 근본적이라는 뜻이다.

학원 운영자가 점검할 세 가지 지점

a16z 글의 프레임을 운영 관점으로 옮기면 점검 항목이 또렷해진다. 학생별 오답·진도 데이터가 단순 저장을 넘어 다음 차시 콘텐츠 생성에 실제로 반영되는가. AI 튜터의 응답이 어제와 오늘 사이에 학생의 변화를 반영하는가, 아니면 매번 백지 상태에서 시작하는가. 교사·강사의 피드백이 시스템 어딘가에 누적되어 다른 학생의 학습 설계에 다시 쓰이는가.

저자들이 지적한 하니스(harness) 개념은 학원 시스템 설계에도 그대로 옮겨진다. OpenClaw가 무엇을 다시 프롬프트에 주입할지 결정하고 중간 산출물을 구조화하며 이전 작업의 영구 기억을 유지하는 방식으로 차별화됐듯이, 학원의 LMS 역시 학생의 어떤 오답을 다음 주에 다시 출제할지, 어떤 어휘를 누적 복습 큐에 올릴지를 정교하게 설계한다. 교과과정상 수능 영어와 내신 영어가 분리돼 운영되더라도, 누적되는 어휘·구문 데이터는 두 트랙을 가로질러 재활용될 수 있다. 이것이 ICL의 한계를 보완하는 운영 차원의 압축이다.

자기주도학습자에게 — 외부 메모와 내부 압축의 균형

학습자 개인 차원에서도 같은 질문을 던질 수 있다. 노트 앱과 단어장 앱, 인강 클립은 메멘토의 폴라로이드처럼 강력한 외부 메모다. 부정할 필요가 없다. a16z 글이 ICL의 가치를 인정한 이유와 같다. 문제는 외부 메모에 의존한 채 시험장에 들어가는 순간이다. 학습자의 파라미터, 즉 장기 기억 안에 어휘 의미망·구문 직관·독해 전략이 압축돼 있지 않으면, 폴라로이드를 빼앗긴 레너드처럼 영점으로 돌아간다.

실천적으로는 두 층위를 분리하는 것이 도움이 된다. 외부 메모 층위에서는 오답 노트, 어휘 카드, 인강 정리본을 잘 구조화하고 검색 가능하게 둔다. 내부 압축 층위에서는 같은 어휘와 구문을 다른 맥락에서 반복해 만나며 직접 영작·요약·재진술하는 시간을 확보한다. EBS 연계교재 지문 한 개를 풀고 끝내지 않으며 그 지문의 핵심 구문을 자기 문장으로 다시 쓰는 작업이 압축에 해당한다. ICL식 풀이만 반복하면 모델이 영원한 현재에 갇히듯 학습자도 같은 자리를 맴돈다.

배포 이후에도 학습한다는 발상이 던지는 것

a16z 글이 강조하는 또 하나의 포인트는, 모델이 자신의 메모리 아키텍처를 스스로 학습하도록 훈련하면 새로운 차원의 스케일링이 열린다는 전망이다. 외부 하니스에 의존하는 대신 모델이 무엇을 기억하고 무엇을 잊을지 직접 결정하는 방향이다. 저자들은 이 방향이 단순히 더 큰 모델을 만드는 것과 다른 축의 진보일 수 있다고 본다.

이 전망은 교육에서도 비슷하게 번역된다. 학습자가 자신의 학습 기록을 스스로 큐레이션하면서 어떤 오답을 어떤 주기로 다시 만날지 직접 설계하는 능력이 점점 중요해진다. 교사·강사·AI 튜터가 외부에서 모든 것을 떠먹여 주는 모델은 외부 하니스에 의존하는 LLM과 같은 한계에 부딪힌다. 반대로 학습자가 자신의 메모리 아키텍처를 만드는 훈련을 받으면, 수능과 내신을 넘어 대학 이후의 학습에서도 작동하는 압축 엔진을 갖게 된다. a16z의 지속적 학습 담론은 한국 교육에 익숙한 자기주도학습이라는 개념을 기술적 언어로 다시 진술한 것이기도 하다. 영원한 현재에 머무를지, 압축하는 학습자로 전환할지 — 글이 던지는 질문은 그렇게 학습 현장으로 돌아온다.