SPOT: 결과를 보고 보정하는 온폴리시 증류

도입

On-Policy Distillation(OPD)은 추론형 언어 모델을 더 작은 학생 모델로 압축하기 위한 중요한 학습 방식이다. 학생 모델이 직접 생성한 궤적 위에서 강한 교사 모델이 촘촘한 감독 신호를 제공하기 때문에, 실제 학생의 생성 분포와 가까운 상황에서 학습할 수 있다.

하지만 표준 OPD에는 약점이 있다. reverse-KL 기반 훈련은 교사가 현재 위치에서 높은 확률을 준 토큰에 학생을 강하게 맞추는 경향이 있다. 그 결과, 충분히 그럴듯한 다른 후속 경로들이 낮은 확률로 밀려나고, 추론 문제에서 필요한 다양한 풀이 경로의 커버리지가 줄어들 수 있다.

논문 SPOT: Sparse Probing and Outcome Calibration for On-Policy Distillation 은 이 문제를 해결하기 위해, “어디를 탐색할 것인가”와 “무엇을 증류할 것인가”를 하나의 절차로 다룬다.

핵심 내용

• 표준 OPD의 한계: 교사의 조밀한 감독은 유용하지만, 국소 확률만 모방하면 다른 합리적 연속 후보를 과소평가할 수 있다.
• 교사 엔트로피만으로는 부족: 엔트로피가 높다는 사실만으로는 불확실성이 소수의 강한 후보에 집중됐는지, 긴 꼬리 분포로 퍼져 있는지 알 수 없다. 학생 모델이 이미 그 후보들을 잘 표현하는지도 판단하기 어렵다.
• 세 단계 절차: SPOT은 acquisition, exploration, exploitation으로 구성된다.
• 희소 탐색 위치 선택: acquisition 단계에서는 정규화된 교사 엔트로피, 작은 top-k 후보 집합이 포착한 확률 질량, 학생-교사 분포 불일치를 결합해 위치별 점수를 만든다. 제한된 탐색 예산은 이 점수가 높은 위치에 배정된다.
• 결과 기반 타깃 보정: exploration 단계에서는 교사가 제안한 후보에서 학생이 이어서 생성한 결과를 verifier가 평가한다. exploitation 단계에서는 이 점수를 이용해, 교사 분포에 고정점을 두면서도 더 좋은 downstream outcome을 낸 후보를 선호하는 KL 정규화 타깃을 만든다.

의미와 영향

SPOT의 핵심 의미는 증류를 단순한 국소 모방에서 결과 인식형 모방으로 확장했다는 점이다. 추론 과제에서는 현재 토큰의 확률이 최종 성공을 항상 잘 예측하지 않는다. 어떤 후보는 지금 당장은 낮아 보이지만, 이후 전개에서 더 좋은 풀이로 이어질 수 있다.

논문 요약에 따르면, SPOT은 세 가지 학생 모델 규모와 여러 추론 벤치마크에서 OPD 대비 macro Avg@8/Pass@8을 0.47–1.48/4.55–5.28포인트 개선했고, EOPD 대비로도 0.29–0.68/2.49–3.19포인트 향상했다. 이는 단순히 교사 엔트로피를 보는 방식보다, 후보의 실제 후속 결과를 반영하는 방식이 추론 증류에 더 효과적일 수 있음을 보여준다.

실무 관점에서 SPOT은 비용과 품질 사이의 절충안을 제시한다. 모든 위치를 비싸게 탐색하지 않고, 정보량이 큰 분기점만 골라 미래 결과를 확인한다. verifier 비용을 잘 관리할 수 있다면, 이런 outcome-calibrated distillation은 작은 언어 모델의 추론 성능을 끌어올리는 중요한 방법이 될 수 있다.

출처: Hugging Face Daily Papers