DAPD: 정책 증류에서 ‘특권 정보 착각’을 줄이는 방법

들어가며

언어 모델 후훈련에서 온폴리시 자기 증류(OPSD)는 점점 더 자주 사용되고 있습니다. 더 강한 교사 신호나 추가 정보를 활용해 학생 모델을 개선하려는 접근입니다. 하지만 DAPD 논문은 이 과정에 중요한 함정이 있다고 지적합니다. 훈련 단계의 교사가 학생보다 더 많은 정보를 볼 수 있다면, 학생은 추론 시에는 사용할 수 없는 단서에 의존하는 행동까지 배울 수 있습니다.

저자들은 이를 privilege illusion, 즉 특권 정보 착각이라고 부릅니다. 학생 모델이 마치 훈련 때의 특권 정보가 추론 때에도 존재하는 것처럼 행동하지만, 실제 배포 환경에서는 그 정보가 사라져 있습니다. 이 경우 증류는 성능 향상이 아니라 성능 저하로 이어질 수 있습니다.

핵심 내용

• 문제의 뿌리는 정보 비대칭: 기존 OPSD에서는 교사나 참조 정책이 특권 정보로 강화될 수 있습니다. 반면 학생은 추론 시 주어진 일반적인 컨텍스트만으로 행동해야 합니다. DAPD는 이 조건 차이를 실패의 근본 원인으로 봅니다.
• DAPD는 정보 조건을 맞춘 증류를 지향: Dual-Anchored Policy Distillation은 특권 정보에 의존한 행동을 그대로 학생에게 넘기는 대신, 비교 가능한 정보 조건에서 정책 행동을 정렬하려고 합니다.
• Dual-Path Anchoring(DPA): DPA는 self-conditioned bridge를 도입하고, 참조 행동과 rollout 행동을 정보가 맞춰진 두 경로에서 정렬합니다. 이를 통해 추론 시 학생이 재현할 수 없는 행동이 전달되는 것을 막는 것이 목표입니다.
• Dual-Source Anchoring(DSA): DSA는 이 경로를 reference-to-rollout 방향뿐 아니라 rollout-to-reference 방향에도 적용합니다. 올바른 답에 대한 감독은 유지하면서, 특권 참조 신호에 대한 과도한 의존을 줄입니다.
• 스케일 전반에서의 개선 보고: 논문은 DAPD가 Qwen3-4B에서 OPSD보다 평균 2.00점 높은 성능을 보였다고 설명합니다. 또한 4B에서 +2.69, 32B에서 +2.78의 개선도 보고합니다.

의미와 영향

DAPD의 핵심 기여는 증류를 단순한 출력 모방으로 보지 않는다는 점입니다. 중요한 것은 교사가 어떤 답을 냈는가뿐 아니라, 그 답이 어떤 정보 조건에서 만들어졌는가입니다. 교사의 행동이 학생이 추론 시 접근할 수 없는 정보에 기반한다면, 그 행동을 모방하는 것은 오히려 잘못된 의사결정 규칙을 학습시키는 일이 될 수 있습니다.

이 관점은 강화학습, rollout, 자기 개선, 합성 데이터가 결합되는 최신 LLM 후훈련 파이프라인에서 특히 중요합니다. 교사를 강화하는 추가 신호는 동시에 교사와 학생 사이의 조건 차이를 키울 수 있습니다. DAPD의 이중 앵커링은 이 차이를 줄이고, 학생이 실제로 사용할 수 있는 정보 범위 안에서 학습이 이루어지도록 설계된 방법입니다.

다만 남는 질문도 있습니다. 교사와 학생이 같은 정책의 다른 정보 조건이 아니라, 서로 다른 아키텍처나 모델 계열일 때도 이 방식이 안정적으로 동작할까요? Hugging Face 토론에서도 이 문제가 제기됐고, 저자들은 현재 DAPD가 온폴리시 자기 증류를 중심으로 설계됐다고 설명했습니다. 또한 OLMo에서의 예비 실험이 Qwen과 유사한 경향을 보였으며, 추가 결과를 다음 개정판에 포함할 계획이라고 밝혔습니다.

결론적으로 DAPD는 후훈련 증류에서 “더 강한 교사”만으로는 충분하지 않다는 점을 보여줍니다. 학생이 실제 추론 시 사용할 수 있는 정보와 교사 신호의 조건을 맞추는 일이, 신뢰할 수 있는 정책 증류의 중요한 전제가 될 수 있습니다.

출처: Hugging Face Daily Papers