OPRD, 약한 교사를 넘어서는 강한 모델 학습을 가속

들어가며

모델 세대가 바뀔 때마다 대규모 후처리 강화학습을 처음부터 다시 수행하는 것은 높은 비용을 요구한다. 이전 모델을 교사로 활용하면 이 비용을 줄일 수 있지만, 기존 지식 증류는 교사의 출력이나 정책 분포를 학생의 목표로 삼기 쉽다. 그러면 더 강한 학생이 교사를 재현하는 데 그치고, 교사의 능력 상한을 넘지 못할 수 있다. 논문 「Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation」은 이 문제를 다루기 위해 OPRD를 제안한다.

핵심 내용

• 모방보다 개선 방향에 집중한다. 약한 감독자로부터 학습한 강한 모델이 감독자를 넘어설 수 있는지가 약한 모델에서 강한 모델로의 일반화가 묻는 핵심이다. 연구진은 연속적인 모델 세대 이전과 여러 영역의 교사를 하나의 학생 모델에 통합하는 설정을 살폈다.
• 학생의 생성 결과에서 교사 신호를 계산한다. 학생이 먼저 온폴리시 롤아웃을 생성하면, OPRD는 같은 롤아웃에서 약한 교사가 기준 정책에 비해 어떤 방향으로 변했는지 평가한다. 교사의 행동을 최종 정답으로 복사하는 대신, 학습을 촉진하는 방향 정보로 활용하는 방식이다.
• 검증기가 지지하는 업데이트만 증폭한다. 교사의 모든 선호를 무조건 반영하지 않는 것이 중요하다. OPRD는 학생의 검증기 기반 정책 그래디언트 중 교사의 정책 변화 방향과 일치하는 성분만 재조정한다. 따라서 업데이트가 유효한지 판단하는 중심 역할은 검증기에 남는다.
• 학생의 목표를 바꾸지 않고 학습을 빠르게 한다. OPRD는 별도의 증류 목표로 학생을 교사에게 끌어당기기보다, 기존 정책 최적화에서 유효한 업데이트의 크기를 조절한다. 논문의 이론적 동기는 정책 최적화의 정지점을 보존하면서 학습 속도를 높여 학생이 교사를 넘어설 가능성을 남기는 데 있다.
• 서로 다른 모델 규모 관계에서도 검증했다. 실험은 연속 모델 이전과 다중 교사 증류뿐 아니라 일반적인 강한 교사-약한 학생 증류도 포함한다. 보고된 결과에 따르면 OPRD는 기존 강화학습 및 증류 방법보다 이른 시점에 경쟁 방법의 최종 성능에 도달했고, 최종 성능도 더 높았다.

의미와 영향

OPRD의 중요한 점은 후처리 과정에서 교사의 역할을 다시 정의했다는 데 있다. 일반적인 증류에서 교사 분포는 학생이 도달해야 할 목적지가 되기 쉽다. 반면 OPRD에서는 교사의 정책 변화를 조건부 최적화 신호로 사용하고, 어떤 업데이트를 받아들일지는 검증기가 결정한다. 이를 통해 이전 세대 모델의 후처리 성과를 재사용하면서도 새 학생 모델의 능력 범위를 교사에 맞춰 제한하는 문제를 완화할 수 있다.

응답 스타일 분석에서도 OPRD 학생은 약한 교사보다 검증기 기반 강화학습만으로 학습한 모델에 더 가까운 것으로 보고됐다. 이는 교사 신호가 학생을 고정된 행동 양식으로 바꾸기보다 학생 자신의 최적화를 가속한다는 해석을 뒷받침한다. 다만 방법의 효과는 검증기의 품질에 의존하며, 교사의 방향과 검증 결과가 충돌할 때 이를 어떻게 처리할지도 중요하다. OPRD는 약한 감독을 재활용하면서 강한 모델의 학습 자유도를 보존하려는 실용적인 접근으로 볼 수 있다.

출처: Hugging Face Daily Papers