Distilled RL: LLM 후학습에 교사 모델의 세밀한 신호를 결합하다

도입

대규모 언어모델의 후학습은 추론 능력, 적응력, 정렬 성능을 끌어올리는 핵심 단계가 됐다. 대표적인 접근은 두 가지다. 하나는 최종 답변의 성공 여부를 보상으로 삼는 강화학습이고, 다른 하나는 학생 모델이 교사 모델의 출력 분포를 따라가도록 하는 온라인 정책 증류다. 하지만 표준 강화학습은 보상이 응답 전체에 붙는 경우가 많아 어떤 토큰이나 중간 추론 단계가 실제로 기여했는지 파악하기 어렵다. 반대로 OPD는 교사 logits를 무조건 맞추려 하므로, 교사가 너무 비슷하면 새 지식이 적고 너무 다르면 지도가 비효율적일 수 있다.

논문 “Distilled Reinforcement Learning for LLM Post-training”은 이 두 문제를 함께 완화하기 위해 Distilled RL을 제안한다.

핵심 내용

• 표준 RL의 한계는 거친 신용 할당이다. 답변 하나가 좋은지 나쁜지만 알면, 모델은 어느 부분을 더 강화해야 하는지 세밀하게 학습하기 어렵다.
• OPD는 과도한 모방을 유도할 수 있다. KL 기반으로 교사 분포를 항상 따라가면, 학생에게 필요한 선택적 지식 전달보다는 분포 복제가 우선될 수 있다.
• Distilled RL은 교사를 복사 대상이 아니라 재가중 신호로 사용한다. 반대 방향 중요도 샘플링을 통해, 학생이 생성한 각 토큰에 대해 교사 모델이 상대적으로 얼마나 선호하는지 계산한다. 극단적인 교사-학생 확률 비율은 clipping으로 제한한다.
• 음수 샘플은 리셋한다. advantage가 양수인 응답에만 교사 재가중을 적용하고, advantage가 0 이하인 경우에는 가중치를 1로 돌려 일반 RL 업데이트와 같게 만든다. 실패한 궤적을 교사 신호로 잘못 강화하는 일을 막기 위한 장치다.
• 시퀀스 수준 기하 정규화를 적용한다. 응답 전체의 스케일 편향을 제거하면서도, 토큰 간 상대적인 교사 선호는 유지한다.

실험 결과

논문은 Qwen3-8B-GRPO를 교사 모델로 사용하고 세 가지 학생 모델을 평가했다. 열 개의 수학 추론 벤치마크 평균 Pass@1에서 DeepSeek-R1-Distill-Qwen-1.5B는 기본 모델 31.70에서 Distilled RL 적용 시 40.00으로 향상됐다. Qwen3-1.7B는 46.37, Qwen3-4B는 58.96을 기록했다. 제시된 표에서는 Distilled RL이 표준 RL, OPD, 그리고 OPD+RL의 단순 결합보다 세 학생 모델 모두에서 더 높은 성능을 보였다. 저자들은 동일 계열 및 교차 계열 증류 설정 모두에서 효과가 있으며, Pass@1과 Pass@k 모두 개선됐다고 설명한다.

의미와 영향

Distilled RL의 핵심은 교사 모델을 무조건 따라야 할 정답 분포로 보지 않는다는 점이다. 대신 보상 관점에서 유효한 응답 안에서, 어떤 토큰에 더 강한 학습 신호를 줘야 하는지 알려주는 세밀한 안내자로 활용한다. 추론 문제에서는 소수의 핵심 단계가 전체 답변의 성패를 결정하는 경우가 많기 때문에, 이런 설계는 후학습 효율을 높일 가능성이 있다.

다만 현재 소재에서 확인되는 주요 근거는 수학 추론 벤치마크에 집중돼 있다. 더 개방적인 생성 과제, 안전성 정렬, 다양한 교사-학생 규모 차이에서도 같은 안정성이 유지되는지는 추가 검증이 필요하다.

출처: Hugging Face Daily Papers