CPO：エントロピーを超える正しさ認識型 RLVR の提案

導入

検証可能な報酬を用いる強化学習、いわゆる RLVR は、大規模言語モデルの推論能力を高めるうえで重要な手法になっている。数学問題、コード生成、ルールで判定できるタスクでは、最終回答が正しいかどうかを比較的明確に評価できる。しかし、最終報酬だけでは生成途中の各 token にどのように学習信号を配るべきかが分かりにくい。

従来は、この credit assignment の補助としてエントロピーを使うことが多かった。エントロピーはモデルの不確実性を表すが、その不確実性が有益な探索なのか、単なる混乱なのかは区別できない。論文「Beyond Entropy: Correctness-Aware Advantage Shaping via Contrastive Policy Optimization」は、この問題に対して CPO（Contrastive Policy Optimization）という新しい枠組みを提示している。

核心ポイント

• エントロピーの限界
  エントロピーは分布の広がりを測る指標であり、正しさそのものを測るものではない。RLVR においては、複数の妥当な推論経路を探索している場合も、次に何を出すべきか分からず混乱している場合も、同じように高いエントロピーとして現れ得る。

• CPO は二つの分布の差を見る
  CPO の中心は、参照誘導された生成分布と、通常の vanilla 生成分布の token レベルの disagreement を比較することにある。参照によって次 token の選好がどのように変わるかを見ることで、単なる不確実性ではなく、正しさに関係する信号を取り出そうとする。

• token レベルの正しさを扱う
  最終回答の正誤だけに依存すると、途中の推論ステップに対する学習信号は粗くなる。CPO は分布差を使うことで、生成過程の細かな単位に correctness-aware な advantage shaping を行う。論文では、この disagreement が token レベルの正しさを示す理由について理論的な説明を与え、実験的にもその有効性を確認している。

• On-policy Distillation との関係
  著者らは、On-policy Distillation が CPO の特殊ケースとして理解できることも示している。外部の teacher model によって posterior distribution が具体化される場合、蒸留は CPO の一形態と見なせる。この見方は、強化学習と教師モデルによる学習を結びつける整理として興味深い。

• ゼロ advantage 問題への対応
  RLVR では、報酬が疎であったり、サンプル間の差が十分に出なかったりすると advantage が有効に働かないことがある。CPO は分布レベルの対比信号を追加することで、このゼロ advantage 問題を解消できると論じている。

意義と影響

CPO の重要性は、「探索を増やす」だけでなく、「正しさにつながる探索をどう見分けるか」という問いに踏み込んでいる点にある。もし参照誘導分布と通常分布の差が安定して token レベルの正しさを示すなら、RLVR はエントロピーという粗い代理指標から一歩進むことができる。

論文では、in-domain と out-of-domain のベンチマークで CPO がエントロピーベースの RLVR 手法を大きく上回り、汎化性能も維持したと報告している。さらに、正しい応答と誤った応答がそれぞれ探索と活用を自然に支え、両者のバランスが最良の性能につながるという分析も示されている。

全体として、CPO は RLVR の advantage shaping をより正しさに近づける試みであり、蒸留、方策最適化、検証可能報酬を統一的に理解する手がかりにもなる。

出典：Hugging Face Daily Papers