SAF-OPD: 강화학습과 온폴리시 증류를 안정적으로 결합하는 방법

도입

대형 언어모델의 후학습에서는 두 가지 신호가 자주 함께 사용된다. 하나는 검증 가능한 보상에 기반한 강화학습(RLVR)이다. 정답 여부처럼 확인 가능한 결과를 이용해 모델이 스스로 더 나은 풀이를 탐색하도록 만든다. 다른 하나는 온폴리시 증류(OPD)다. 더 강한 교사 모델과 학생 모델을 token 단위로 비교해 조밀한 학습 신호를 제공한다.

논문 SAF-OPD: Stable Advantage Fusion for On-Policy Distillation 는 이 두 방법을 단순히 고정 비율로 섞는 접근이 왜 충분하지 않은지 분석한다. GRPO와 OPD는 서로 보완적이지만, advantage의 성격이 다르기 때문에 잘못 결합하면 entropy collapse가 발생하고, 학생 모델이 너무 일찍 교사 분포에 묶일 수 있다.

핵심 내용

• RLVR과 OPD는 신호의 단위가 다르다. RLVR은 보통 응답 전체에 대한 하나의 보상을 각 token에 배분한다. 반면 OPD는 교사 모델을 기준으로 token마다 advantage를 계산하므로 더 촘촘한 안내를 제공한다.
• 크기 불일치가 강화학습 신호를 압도할 수 있다. 일부 OPD token advantage는 GRPO의 제한된 advantage보다 훨씬 커질 수 있다. 이 경우 업데이트가 교사 신호에 지배되어 검증 보상이 주는 탐색 효과가 약해진다.
• 훈련 시점의 불일치도 중요하다. OPD를 학습 전 과정에서 같은 강도로 적용하면 학생은 계속 교사에 가까워진다. 그러나 교사와의 KL이 낮다고 해서 최종 성능이 더 좋다는 뜻은 아니다.
• SAF는 OPD advantage만 조절한다. 제안된 프레임워크는 Top-k 희소화, tanh 기반 제한 압축, KL 트리거 워밍업, 선형 어닐링으로 구성된다. 네 단계는 각각 독립적으로 켜고 끌 수 있다.
• 가볍고 통합이 쉽다. 추가 모델, 보조 손실, 추가 forward pass가 필요하지 않아 기존 GRPO+OPD 파이프라인에 비교적 쉽게 적용할 수 있다.

의미와 영향

이 연구의 중요한 메시지는 교사 신호가 항상 강할수록 좋은 것은 아니라는 점이다. 증류는 학습을 빠르게 만들고 국소적인 방향을 제공하지만, 학생 모델이 교사를 넘어서는 탐색을 해야 하는 상황에서는 지나친 제약이 될 수 있다. 특히 수학 추론이나 코드 생성처럼 검증 가능한 보상으로 더 나은 해답을 판별할 수 있는 과제에서는 모방과 탐색의 균형이 중요하다.

SAF는 이 균형을 실용적으로 조절한다. 희소화와 압축은 과도하게 큰 OPD advantage가 GRPO 신호를 덮어쓰지 못하게 하고, 워밍업과 어닐링은 훈련 단계에 따라 교사에 대한 신뢰도를 바꾼다. 저자들은 Qwen3-1.7B, 4B, 8B를 사용해 일곱 개의 수학 및 코드 생성 벤치마크에서 평가했다. 그 결과 SAF는 고정 계수 GRPO+OPD 결합보다 안정적인 학습을 보였고, 여섯 개 모델-도메인 설정에서 종합 점수를 0.51%에서 2.70% 향상했다.

실무 관점에서도 의미가 있다. SAF는 새로운 대형 구성요소를 추가하기보다 기존 결합 방식의 신호 조절 문제를 해결한다. 따라서 RLVR 기반 후학습을 운영하는 팀에게는 낮은 비용으로 안정성을 높일 수 있는 선택지로 볼 수 있다.

출처: Hugging Face Daily Papers