OPD²: 추론 튜닝으로 생긴 ‘차이’만 증류하는 방법

도입

대규모 언어 모델의 후학습은 보상 모델에 의존하는 강화학습만으로 설명하기 어려워지고 있다. 최근에는 학생 모델이 자신의 생성 경로 위에서 강한 교사 모델의 token 단위 감독을 받는 on-policy distillation도 중요한 대안으로 다뤄진다. NAVER AI Lab의 논문 “On-Policy Delta Distillation”은 이 구조에서 증류 신호 자체를 다시 설계한 OPD²를 제안한다.

OPD²의 아이디어는 명확하다. 추론 튜닝된 교사 모델의 출력 전체를 모방하는 대신, 그 교사 모델과 튜닝 전 베이스 모델 사이의 차이를 학습하자는 것이다. 즉 학생에게 필요한 것은 교사의 모든 습관이 아니라, 추론 튜닝을 통해 새롭게 생긴 능력 변화라는 관점이다.

핵심 내용

• delta signal 제안: OPD²는 추론 튜닝된 교사 모델과 해당 교사의 베이스 모델 사이의 차이를 새로운 증류 보상으로 사용한다.
• 추론 능력 이전에 집중: 교사 모델의 전체 분포에는 일반 언어 능력, 표현 스타일, 기존 지식이 함께 섞여 있다. delta signal은 그중 추론 튜닝으로 생긴 변화에 더 직접적으로 초점을 맞춘다.
• on-policy 구조 유지: 방법 자체는 on-policy distillation의 틀 안에 있으며, 학생 모델의 생성 과정에서 token 수준의 피드백을 제공한다.
• 여러 추론 영역에서 검증: 논문은 수학, 과학, 코드 추론 벤치마크에서 OPD²가 기존 on-policy distillation을 지속적으로 앞섰다고 보고한다.
• 모델 설정 간 일관성: 제공된 자료에 따르면 성능 향상은 여러 Qwen3 모델 크기, thinking 및 non-thinking 모드에서 나타났고, Gemma 4로도 확장되었다.

왜 ‘차이’를 보는가

일반적인 교사 증류는 강력하지만, 동시에 신호가 과하게 넓을 수 있다. 교사 모델의 출력에는 문제 해결 능력뿐 아니라 말투, 포맷 선호, 베이스 모델이 이미 갖고 있던 언어 모델링 능력까지 포함된다. 학생이 이를 모두 모방하면 실제로 옮기고 싶은 추론 능력에 비해 학습 목표가 흐려질 수 있다.

OPD²는 교사와 그 출발점인 베이스 모델을 비교해, 추론 튜닝이 만들어낸 변화를 강조한다. 추론 모델의 개선은 풀이 단계 구성, 중간 reasoning 전개, 코드 문제에서의 선택, 과학 문제의 논리적 순서 등에 반영될 수 있다. delta signal은 바로 이런 변화가 학생에게 전달되도록 설계된 신호다.

의미와 영향

논문에서 제시된 결과가 더 다양한 환경에서도 재현된다면, OPD²는 짧은 후학습으로 추론형 LLM을 강화하는 실용적인 방법이 될 수 있다. 큰 교사 모델의 모든 행동을 복사하기보다, 성능 향상을 만든 핵심 변화만 추출해 옮기는 방식이기 때문이다.

또한 이 연구는 모델 계보 자체가 학습 자원이 될 수 있음을 보여준다. 최종 교사 모델 하나만 보는 대신, 베이스 모델과 튜닝된 모델의 차이, 혹은 서로 다른 능력 단계의 모델 간 대비를 감독 신호로 활용할 수 있다.

다만 현재 제공된 자료만으로는 장문 컨텍스트, 개방형 작업, 실제 서비스 환경에서의 안정성까지 판단하기는 어렵다. 그럼에도 OPD²는 추론 능력 증류를 더 정밀하게 설계하려는 시도로서 충분히 주목할 만하다.

출처: Hugging Face Daily Papers