약한 모델로 강한 모델을 가르친다: W2S-OPD 해설

도입

모델 증류는 보통 더 강한 교사가 존재한다고 가정합니다. 큰 모델이 작은 모델을 가르치는 경우에는 자연스럽지만, 최전선의 대형 언어모델에서는 이 가정이 곧 한계가 됩니다. 학생 모델이 이미 매우 강하다면, 그보다 더 강하고 비용도 감당 가능한 교사를 찾기 어렵기 때문입니다. 논문 “Weak-to-Strong On-Policy Distillation”이 제안한 W2S-OPD는 이 문제를 다른 방식으로 풉니다. 강한 교사를 찾는 대신, 여러 약한 모델 사이의 차이에서 강한 학생에게 유용한 학습 신호를 추출합니다.

핵심 내용

• 강한 교사 없는 on-policy 증류: OPD는 학생 모델이 직접 생성한 rollout 위에서 교사의 token 단위 분포와 학생을 정렬합니다. W2S-OPD는 이 구조를 유지하되, 교사가 학생보다 강해야 한다는 조건을 완화합니다.
• logit 공간의 프록시 교사: 방법은 양의 모델과 음의 모델로 이루어진 대조 쌍을 사용합니다. 두 모델은 모두 학생보다 작고 비교적 저렴하게 준비할 수 있습니다. 이들의 logit 차이는 특정 능력 방향으로 해석됩니다.
• 다양한 대조 방식: 논문은 RL 이후 전문가와 RL 이전 초기 모델, 더 큰 기반 모델과 더 작은 기반 모델, 올바른 힌트와 잘못된 힌트를 받은 작은 모델을 대조 예시로 제시합니다.
• 학생 분포와의 근접성 유지: 추출한 능력 방향을 학생 자신의 기반 모델에 더해 프록시 교사를 만들기 때문에, 교사 분포가 학생과 지나치게 멀어지는 문제를 줄입니다.
• 간단한 학습 목표: 학생은 자신의 rollout에서 token별 reverse KL을 최소화하며 프록시 교사를 따라갑니다.

의미와 영향

W2S-OPD의 흥미로운 점은 약한 모델을 그대로 모방하지 않는다는 데 있습니다. 약한 모델들이 서로 어떻게 다른지를 보고, 그 차이를 개선 방향으로 바꿉니다. 예를 들어 RL 전후의 차이는 RL이 주입한 추론 기술을, 규모 차이는 스케일에서 비롯된 풀이 절차를, 힌트 차이는 특정 문제에서 정답으로 향하는 방향을 드러낼 수 있습니다.

논문 요약에 따르면 W2S-OPD는 네 개의 수학 벤치마크와 세 개의 코드 벤치마크에서 일반 OPD보다 우수했으며, 학생이 도메인 교사를 넘어서는 결과도 보였습니다. 또한 post-RL 및 힌트 대조는 추론 프레임워크를, 규모 대조는 풀이 절차를 더 강조하는 경향이 있다고 분석합니다.

다만 제공된 자료만으로는 세부 모델 크기, 비용, 재현 조건을 확인하기 어렵습니다. 그럼에도 더 강한 교사에 의존하지 않고 약한 감독의 차이를 활용한다는 접근은, 향후 LLM 학습과 증류 전략에서 중요한 연구 방향으로 볼 만합니다.

출처: Hugging Face Daily Papers