온폴리시 증류는 정말 증류하는가? 교사 없는 자기 적응의 가능성

들어가며

온폴리시 증류(On-Policy Distillation, OPD)는 강화학습과 지도학습의 장점을 결합하려는 접근이다. 학생 모델이 먼저 궤적을 생성하고, 교사 모델이 각 토큰에 대해 학습 신호를 제공한다. 결과 수준의 희소한 어드밴티지를 사용하는 검증 가능한 보상 기반 강화학습(RLVR)보다 더 촘촘한 감독을 제공할 수 있다는 점이 OPD의 주요 장점으로 여겨졌다.

하지만 근본적인 분포 불일치가 있다. 궤적을 생성하는 주체는 교사가 아니라 학생이므로, 교사는 자신의 정책에서 벗어난 데이터를 평가하게 된다. 그렇다면 교사의 토큰별 점수는 얼마나 신뢰할 수 있을까? 학생의 향상이 정말 교사의 지식 전달에서 비롯되는 것일까, 아니면 학습 목적 자체가 만들어내는 더 단순한 효과일까? 논문 「Does On-Policy Distillation Really Distill?」는 이 질문을 감독 신호와 실제 업데이트가 집중되는 지점을 분석해 검토했다.

핵심 발견

• 교사 신호에는 상당한 잡음이 있다. 연구진은 OPD 학습 중 교사 감독을 정량적으로 분석했고, 무시하기 어려운 잡음이 존재한다고 보고했다. 또한 교사 모델의 규모가 커질수록 잡음의 비중이 증가하는 경향이 나타났다.
• 학생은 잡음에 크게 민감하지 않다. 잡음이 있는 감독을 유지한 경우와 제거한 경우의 최종 학생 정책은 비슷한 성능으로 수렴했다. 이는 교사의 세밀한 토큰별 판단이 성능 향상의 주된 원인이라는 설명을 약화시킨다.
• 학습은 낮은 확률 토큰에 집중된다. 업데이트는 학생의 log 확률이 낮은 토큰에 집중됐다. 따라서 OPD는 전체적인 교사 모방이라기보다 학생 분포의 꼬리 부분을 억제하는 과정에 가까울 수 있다.
• 교사가 없어도 유사한 효과가 가능하다. 교사가 제공한 어드밴티지 대신 하나의 고정된 음의 어드밴티지를 사용해도 비슷한 성능을 얻었다고 연구는 설명한다.

증류에서 자기 적응으로

이러한 관찰을 바탕으로 연구진은 교사와 외부 감독을 사용하지 않는 On-Policy Self-Adaptation, 즉 OPSA를 제안했다. OPSA는 학생 모델 자신의 불확실성을 나타내는 토큰 분포의 엔트로피를 활용해 업데이트 강도를 정한다. 엔트로피가 높은 위치에는 더 강한 학습 신호를 주고, 낮은 확률의 꼬리 토큰을 억제하면서 높은 확률의 헤드 토큰 사이에는 확률 질량을 보다 고르게 재분배한다.

Qwen3-1.7B를 기준으로 한 보고 결과에서 OPSA는 AIME24의 Avg@32를 35.41포인트 높였으며, 상대적 향상은 263%였다. 또한 보고된 세 가지 벤치마크 모두에서 Pass@32가 두 배 이상 증가했다. 이는 OPD의 이득 중 일부가 교사 지식의 직접적인 이전보다 낮은 확률 출력에 대한 구조적 수정에서 나올 수 있다는 해석을 뒷받침한다.

의미와 한계

이 연구가 교사 모델이 언제나 필요 없다고 주장하는 것은 아니다. 핵심은 OPD의 효과를 지식 전달과 최적화 과정에서 발생하는 편향으로 나누어 보자는 데 있다. 만약 꼬리 토큰 억제가 주요 메커니즘이라면, 값비싼 교사 추론이나 복잡한 어드밴티지 추정 없이도 일부 효과를 재현할 수 있다. 모델의 자체 불확실성이 더 저렴한 학습 신호가 될 가능성이 있기 때문이다.

다만 현재 제공된 자료는 논문 요약과 일부 페이지 정보에 한정되어 있다. 잡음의 정확한 정의, 세부 절제 실험, 과제 범위, 학습 안정성, 다른 방법과의 전체 비교는 원문 확인이 필요하다. 따라서 OPSA는 유망한 가설이자 학습 방향으로 보는 것이 적절하며, 교사 기반 증류의 가치를 전면 부정하는 결론으로 확대해서는 안 된다.

출처: Hugging Face Daily Papers