長い CoT の強化学習では、すべての Token に同じ信用を与えるべきではない

導入

長い Chain-of-Thought（long-CoT）は、大規模言語モデルの数学推論能力を高めるうえで重要な手法になっている。その中核にあるのが、正誤を検証できる報酬を用いた強化学習、いわゆる RLVR である。しかし、最終回答が正しい、あるいは誤りだと判定されたとき、その報酬を生成されたすべての token に同じように配ってよいのだろうか。

論文「Not All Tokens Deserve Equal Credit」は、この前提に疑問を投げかける。著者らは token レベルの信用割り当てを分析し、GRPO を拡張する簡潔な手法として Counterfactual Sensitivity Credit Reallocation（CSCR）を提案している。

核心ポイント

• GRPO の信用割り当ては粗い：GRPO のような critic を使わない方法では、回答単位の報酬を advantage に変換し、それを出力中の token へ一様に広げる。この設計は扱いやすい一方で、重要な推論ステップ、接続語、書式上の token を同じ重みで扱ってしまう。

• 自己蒸留の方向が常に信頼できるとは限らない：OPSD は、特権情報を持つ自己教師と通常の方策の分布差を使い、より密な学習信号を与えようとする。だが著者らは、同じ生成軌跡を固定したまま、「正しい」と仮定した場合と「誤り」と仮定した場合の二つの条件で再スコアリングを行った。その結果、多くの token が両条件で同じ方向に変化し、符号が反転する例は限られていた。

• 大きな変化は表層 token に集中しやすい：尤度変化が大きい token は、しばしば言い換え可能な表現、接続、形式的な語に集中していた。一方で、問題固有の推論内容を担う token は必ずしも強く反応しない。つまり、変化量の大きさはそのまま学習価値を意味しない。

• CSCR は信用を再配分する：CSCR は、特権モデルの変化を新しい報酬方向として使うのではなく、反事実的に敏感な token への信用を抑えるために使う。そのうえで token レベルの advantage を再正規化し、検証器が与えた全体の信用量と方向を保つ。

意義と影響

この研究の重要な示唆は、長い CoT の強化学習では「報酬が正しいか」だけでなく、「その報酬をどの token に割り当てるか」も性能を左右するという点にある。一様な割り当てでは、成功した回答に含まれる表現上の癖まで強化してしまう可能性がある。逆に、自己蒸留による確率変化を過信すれば、推論貢献ではなく表層的な敏感さを学習してしまう恐れがある。

CSCR は比較的控えめな修正である。検証器由来の方向を捨てず、高感度な token への過剰な信用付与だけを抑える。論文によれば、CSCR は複数の long-CoT 数学推論ベンチマークとモデル規模で、同じ方策更新回数のもと GRPO および自己蒸留ベースラインを一貫して上回った。また、適度なダウンウェイトが有効で、強すぎる調整は最適化を不安定にすることも示されている。

推論モデルを訓練するうえで、この論文は報酬設計の次の課題を示している。すなわち、推論の中身に貢献する token と、単に条件に敏感な言語表現を分けて扱う必要があるということだ。

出典：Hugging Face Daily Papers