CPO: 엔트로피를 넘어 정확성 인식 RLVR로 가는 방법

도입

검증 가능한 보상을 활용하는 강화학습, 즉 RLVR은 대규모 언어모델을 훈련하는 중요한 방식으로 자리 잡고 있다. 수학 문제, 코드 생성, 규칙 기반 검증이 가능한 작업에서는 최종 답이 맞는지 틀리는지 비교적 명확하게 판단할 수 있다. 하지만 최종 보상만으로는 생성 과정의 각 token에 어떤 학습 신호를 줄지 알기 어렵다.

이때 자주 사용되는 방법이 엔트로피 기반 advantage shaping이다. 엔트로피는 모델의 불확실성을 나타내며 탐색을 장려하는 데 쓰일 수 있다. 그러나 높은 엔트로피가 항상 좋은 것은 아니다. 모델이 여러 합리적인 경로를 탐색하고 있을 수도 있지만, 단순히 다음 token을 전혀 판단하지 못하고 혼란에 빠진 것일 수도 있다. 논문 “Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization”은 이 한계를 넘어서는 방법으로 CPO를 제안한다.

핵심 내용

• 엔트로피는 정확성 신호가 아니다
  엔트로피는 확률분포가 얼마나 퍼져 있는지를 나타낼 뿐, 그 불확실성이 올바른 추론으로 이어지는지는 말해주지 않는다. RLVR에서는 이러한 구분이 중요하다. 특히 추론 과정의 품질이 성능을 좌우하는 작업에서는 단순한 불확실성 지표만으로 충분하지 않다.

• CPO는 두 생성 분포를 대조한다
  Contrastive Policy Optimization의 핵심은 reference-guided generation distribution과 vanilla generation distribution 사이의 token-level disagreement를 활용하는 것이다. 참조 신호가 있을 때 모델의 다음 token 선호가 어떻게 달라지는지 비교함으로써, 단순한 분포의 퍼짐이 아니라 정확성과 관련된 차이를 포착하려 한다.

• token 단위 정확성에 초점
  최종 정답 여부만으로 학습하면 중간 추론 단계에 대한 신호가 거칠어질 수밖에 없다. CPO는 분포 간 차이를 이용해 생성 과정 안쪽으로 correctness-aware advantage shaping을 전달한다. 논문은 이러한 disagreement가 token-level correctness를 나타낼 수 있다는 이론적 설명을 제시하고, 실험적으로도 이를 뒷받침한다.

• On-policy Distillation과의 연결
  저자들은 On-policy Distillation을 CPO의 특수한 사례로 볼 수 있다고 설명한다. posterior distribution이 외부 teacher model로 구현되는 경우, distillation은 CPO 프레임워크 안에 포함된다. 이는 정책 최적화와 교사 모델 기반 학습을 함께 이해할 수 있는 관점을 제공한다.

• zero-advantage 문제 완화
  RLVR에서는 보상이 희소하거나 샘플 간 차이가 작을 때 advantage가 0에 가까워져 최적화 신호가 약해질 수 있다. CPO는 분포 수준의 대조 신호를 추가해 이 문제를 해결하는 데 도움을 준다고 논문은 주장한다.

의미와 영향

CPO의 의미는 단순히 탐색을 늘리는 데 있지 않다. 더 중요한 질문은 어떤 탐색이 정답으로 이어질 가능성이 높은지를 구분하는 것이다. 만약 참조 유도 분포와 일반 생성 분포의 차이가 token 수준의 정확성을 안정적으로 반영한다면, RLVR은 엔트로피라는 거친 대리 지표에서 벗어나 더 직접적인 학습 신호를 사용할 수 있다.

논문은 in-domain 및 out-of-domain 벤치마크에서 CPO가 엔트로피 기반 RLVR 방법보다 뚜렷하게 좋은 결과를 보였고, 강한 일반화 성능도 유지했다고 보고한다. 또한 올바른 응답과 잘못된 응답이 각각 탐색과 활용을 자연스럽게 지원하며, 둘의 균형이 최상의 성능으로 이어진다는 분석도 제시한다.

종합하면 CPO는 검증 가능한 보상을 사용하는 강화학습에서 advantage shaping을 더 정확성 중심으로 설계하려는 시도다. 동시에 distillation, policy optimization, token-level correctness를 하나의 틀에서 연결한다는 점에서도 주목할 만하다.

출처: Hugging Face Daily Papers