외부 감독 없는 온폴리시 자기 증류: 모델의 자체 합의로 학습하는 U-OPSD

도입

대규모 언어모델의 후훈련은 보통 외부 신호에 기대어 왔다. 정답 라벨, 환경 피드백, 또는 더 큰 모델의 지도가 대표적이다. Hugging Face Daily Papers에 소개된 논문 “On-Policy Self-Distillation without Any Supervision”은 이 전제를 다시 묻는다. 저자들은 모델 자신의 생성 결과와 그 내부 일관성만으로 온폴리시 자기 증류를 수행하는 U-OPSD를 제안한다.

핵심 내용

• 문제의식: OPD / OPSD는 LLM 후훈련에서 강력한 가능성을 보여 왔다. 하지만 기존 방식 다수는 정답, 보상 피드백, 더 강한 교사 모델에 의존한다. 이런 구조에서는 엄밀한 의미의 “자기” 증류라고 보기 어렵다.
• 방법: U-OPSD는 같은 문제에 대해 모델이 여러 rollout을 생성하게 한다. 이후 자기 일관성 임계값을 적용하고 다수결을 통해 의사 해답을 구성한다. 이 해답은 사람이 준 라벨이 아니라 모델의 반복 시도에서 나온 내부 합의다.
• 증류 대상: 모든 출력을 그대로 모방하지 않는다. U-OPSD는 의사 해답을 조건으로 모델 분포를 조정하고, 그 의사 해답과 어긋나는 completion을 중심으로 증류한다. 즉 모델이 비교적 확신을 갖고도 틀릴 수 있는 지점을 정밀하게 수정하려는 접근이다.
• 실험 결과: AIME24, AIME25, HMMT25, MATH500, AMC23 등 5개 수학 추론 벤치마크에서 U-OPSD는 Qwen3 non-thinking mode 기준 4B와 8B 규모에서 기반 모델보다 각각 평균 8.5%, 10.7% 향상됐다. 같은 설정에서 OPSD보다도 각각 3.2%, 2.3% 앞섰다. thinking mode에서는 OPSD와 대체로 동등했으며, 4B에서는 0.9% 앞서고 8B에서는 같은 수준이었다. GRPO와 비교하면 각각 0.7%, 1.1% 높은 결과를 보였다.

의미와 영향

이 연구의 흥미로운 점은 새로운 외부 보상이나 교사 모델을 추가하지 않고도 학습 신호를 만든다는 데 있다. 모델이 여러 번 답을 생성했을 때 충분히 같은 결론으로 모인다면, 그 합의는 임시 교사 역할을 할 수 있다. 그리고 합의와 충돌하는 출력은 모델이 스스로 수정해야 할 훈련 데이터가 된다.

수학 추론처럼 여러 번 샘플링했을 때 풀이 경로의 안정성과 불안정성이 드러나는 과제에서는 특히 유용할 수 있다. 라벨 없는 후훈련 루프가 가능해진다면 데이터 구축 비용을 줄이고, 다양한 모델과 설정으로 확장하기도 쉬워진다.

물론 한계도 분명하다. 다수결은 모델 내부에 신뢰할 만한 신호가 있을 때 의미가 있다. 모델이 반복적으로 같은 오답에 수렴한다면 의사 해답 역시 잘못될 수 있다. 따라서 U-OPSD는 모델에 없는 지식을 새로 만들어내는 방법이라기보다, 이미 내재된 능력과 일관성을 더 잘 정렬하는 방법에 가깝다.

결론적으로 이 논문은 자기 개선형 LLM을 위한 실용적 단서를 제시한다. 외부 교사 대신 모델 자신의 합의와 불일치를 활용하면, 후훈련은 더 가볍고 확장 가능한 방향으로 나아갈 수 있다.

출처: Hugging Face Daily Papers