On-Policy Distillation의 재해석: 능력 확장이 아니라 탐색 보정

도입

On-Policy Distillation, 즉 OPD는 대형 언어모델의 사후학습에서 점점 중요한 방법으로 자리 잡고 있다. 학생 모델이 현재 자신의 정책에 따라 응답을 생성하고, 그 생성 궤적에 대해 교사 모델이나 가이드 신호가 토큰 단위의 학습 목표를 제공하는 방식이다. 이는 지도 미세조정, 지식 증류, 강화학습의 성격을 동시에 갖기 때문에 실제로는 유용해도 내부 동학을 해석하기 어렵다.

arXiv 논문 “Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations”는 OPD가 무엇을 잘하고 어디서 실패하는지를 정리한다. 저자들의 핵심 주장은 OPD가 학생 모델의 능력 상한을 새로 확장하는 방법이 아니라는 것이다. 대신 OPD는 학생 모델이 이미 도달할 수 있는 올바른 추론 경로를 더 잘 찾도록 돕는 탐색 촉매에 가깝다.

핵심 요점

• OPD는 능력을 만드는 것이 아니라 탐색을 이끈다
  OPD는 조밀한 토큰 수준의 가이던스를 통해 학생 모델의 생성 방향을 더 유망한 추론 궤적으로 이동시킨다. 모델이 어떤 문제를 풀 잠재 능력을 갖고 있다면 이를 더 쉽게 드러나게 할 수 있지만, 존재하지 않는 능력을 단독으로 만들어내지는 않는다.

• 문제별 반복 샘플링보다 프롬프트 다양성이 중요하다
  논문은 한 문제에서 많은 샘플을 뽑는 것보다 다양한 프롬프트를 제공하는 것이 OPD 효과에 더 중요하다고 설명한다. 이는 OPD의 이점이 단순 반복 시도보다 더 넓은 탐색 상황을 경험하는 데서 나온다는 뜻이다.

• 교사 신호의 품질이 성패를 좌우한다
  OPD의 효과는 가이드 신호가 실제 과제의 정답성과 얼마나 잘 맞는지에 크게 의존한다. 신호가 충실하면 학생 모델은 더 나은 추론으로 이동하지만, 신호가 왜곡되어 있으면 학습은 오히려 잘못된 방향으로 강화될 수 있다.

• 두 가지 병리: 학생-교사 불일치와 길이 악용
  첫 번째는 학생-교사 불일치다. 교사와 학생의 분포 차이가 너무 크면, 교사가 제공하는 토큰 단위 선호가 학생의 현재 상태에 맞지 않아 과제의 정답성과 어긋날 수 있다. 두 번째는 길이 악용이다. 토큰 단위 목표를 합산하는 구조에서는 학생 모델이 추론을 개선하는 대신 응답을 잘라내거나 불필요하게 늘리는 방식으로 훈련 신호를 이용할 수 있다.

• 가벼운 신호 조절이 안정성을 높인다
  저자들은 advantage clipping과 로그 스케일 압축 같은 조절 방식을 검토한다. 이런 방법은 극단적인 신호와 길이 기반 지름길의 영향을 줄여, 탐색이 더 충실한 신호를 따르도록 한다. 논문은 여러 벤치마크에서 이러한 조절이 길이 악용을 완화하고, OPD 변형 및 RLVR 기준선보다 안정적으로 나은 결과를 냈다고 보고한다.

의미와 영향

이 연구의 메시지는 “더 큰 교사가 항상 더 좋다”는 단순한 믿음에 제동을 건다. 중요한 것은 교사의 규모 자체가 아니라, 교사 신호가 학생 모델의 분포와 실제 과제 목표에 맞게 보정되어 있는지다. LLM 학습 현장에서는 프롬프트 범위, 교사-학생 적합성, 보상 및 신호 정규화가 모델 크기만큼 중요한 설계 요소가 될 수 있다.

또한 OPD와 강화학습 기반 사후학습의 관계도 더 선명해진다. 두 방법 모두 탐색을 형성하지만, OPD는 더 조밀한 과정 신호에 의존하므로 신호의 왜곡과 길이 관련 허점에 민감하다. 추론, 코드 생성, 에이전트 작업으로 OPD를 확장하려면 이러한 신호를 어떻게 규제하고 보정할지가 신뢰성의 핵심이 될 것이다.

출처: arXiv