약화시켜 강화한다: WISD, 외부 교사 없이 추론 모델을 자기 증류

배경

추론 모델을 개선하려면 더 강한 교사 모델이나 정답이 포함된 데이터, 또는 추론 과정의 우열을 판단할 수 있는 추가 정보가 필요한 경우가 많다. 그러나 실제 환경에서는 레이블이 없는 프롬프트만 확보되는 상황도 흔하다. Jet-AI 연구진은 이러한 조건을 겨냥해 Weakening-Induced On-Policy Self-Distillation, 즉 WISD를 제안했다.

WISD의 핵심 발상은 강한 자기 교사를 새로 만드는 대신 원래 모델을 의도적으로 약화하는 것이다. 그런 다음 원본 모델과 약화된 모델이 보이는 차이를 학습 신호로 활용해 원본 추론 모델을 개선한다.

방법

논문은 약한 모델을 두 가지 방식으로 구성한다.

• 저비트 양자화: 모델 파라미터의 수치 정밀도를 낮춘다.
• 크기 기반 가지치기: 크기가 상대적으로 작은 파라미터를 제거한다.

이후 원본 모델과 약화 모델의 추론 행동을 비교하고, 그 차이를 훈련 과정에 반영한다. 외부 교사 모델이나 특권 정보를 요구하지 않는다는 점에서, 레이블이 없는 프롬프트만 사용하는 설정에 적합하다. 또한 온폴리시라는 특성은 미리 준비된 시범 데이터에만 의존하지 않고 모델 자체의 추론 행동과 연결된 신호를 사용한다는 점을 의미한다.

실험 결과

WISD는 서로 다른 아키텍처와 규모의 모델을 대상으로 수학 및 코드 추론 과제에서 평가됐다. 평균적으로 양자화 방식은 원본 모델보다 정확도를 4.0%포인트 높였고, 가지치기 방식은 5.5%포인트 높였다.

세부 결과도 일부 모델에서 큰 폭의 변화를 보여준다. 가지치기를 적용한 Qwen3.5-4B의 HMMT 2025 정확도는 57.7%에서 70.5%로 상승했고, LiveCodeBench v6에서는 39.1%에서 56.7%로 올랐다. Qwen3.6-35B-A3B에서는 양자화로 두 벤치마크의 정확도가 각각 68.5%에서 74.6%, 61.8%에서 69.5%로 개선됐다.

의미와 한계

WISD는 자기 증류에 필요한 교사 신호가 반드시 더 큰 모델이나 추가 라벨에서만 나와야 하는 것은 아니라는 가능성을 보여준다. 일반적으로 모델 압축과 배포 효율화를 위해 사용되는 양자화와 가지치기를, 학습 단계에서 유용한 대비를 만드는 도구로 재해석한 것이다.

다만 제공된 자료만으로는 비트 수, 가지치기 비율, 학습 설정별 효과를 판단할 수 없다. 또한 모든 과제에서 같은 수준의 개선이 재현되는지도 확인되지 않았다. 향후에는 더 다양한 모델과 추론 영역에서 성능의 안정성과 일반화 여부를 검증해야 한다.

출처: Hugging Face Daily Papers