Outcome RLがもたらすもの：完遂性と信頼性、そして限られた新規到達

導入

Outcome RLは、モデルの推論能力を高める手法として語られがちです。しかし、pass@1が上がったからといって、モデルが新しい知識や未知の解法を獲得したとは限りません。トークン予算が尽きる前に答えをまとめられるようになっただけかもしれませんし、推論を終えた後に正しい答えを選ぶ確率が上がっただけかもしれません。論文「What Outcome RL Buys: Finishing, Reliability, Rarely Reach」は、この違いを切り分けています。

研究者は、公開されている20個のRLモデルと、それらが学習を始めた思考モデルを比較しました。モデル規模は1.5Bから32Bで、評価対象は物理と数学の問題です。すべて固定トークン予算で評価し、複数回のサンプリングも用いて、一度だけの偶然の正解と安定した能力を区別しました。

変化を三つに分解

pass@1の変化は、次の三要素に分けられます。

• 完遂性（Finishing）：予算が尽きる前に答えを出せるか。RLモデルが単に推論をうまく切り上げている可能性を捉えます。
• 信頼性（Reliability）：両方のモデルが答えを出した場合に、どちらが正しいかを測ります。
• 到達性（Reach）：基盤モデルが8回すべて失敗した問題をRLモデルが解けた分から、その逆方向の差し引きを行います。

主な結果

基盤モデルがトークン上限に頻繁に達する条件では、RLによる変化の大部分が完遂性でした。4kと8kの予算では、関連する変化の82%が完遂性に帰属します。より多くのトークンを与えると、基盤モデル自身がその差の大部分を縮めました。つまり、この条件で見える性能向上の一部は、知識の増加よりも推論のペースや停止方法の改善と考えられます。

基盤モデルが十分な時間を持つ場合、向上の中心は信頼性です。両モデルが最後まで推論しても、RLモデルのほうが正答しやすくなります。ただし、これは新しい問題領域への大規模な進出を意味しません。論文の定義による到達性の寄与は、4つの物理・数学セットのいずれでも最大2.1ポイントでした。

研究者は、RLモデルだけが解いた144問の物理問題も調べました。再サンプリングや人手による確認後も成立したものは3.5%にとどまりました。また、ランダムに抽出した例では、人間が確認したRLの新しい推論ステップの10個中9個が、基盤モデルのサンプルにも現れました。見かけ上の新解法の多くは、基盤モデルにもすでに存在し、RLによって出現確率や完遂確率が上がった可能性があります。

意義

この研究は、pass@1だけでRLの効果を評価する危うさを示します。評価では、トークン予算、完遂率、完遂後の正答率、複数回サンプリングでの問題カバレッジを分けて報告する必要があります。タイムアウトを減らしたい場合、停止行動を改善する学習は有効です。一方、基盤モデルにはない能力を得たい場合は、より厳密な到達性の検証が求められます。

Outcome RLの価値が否定されたわけではありません。モデルを最後まで走らせ、より安定して正解させる効果はあります。ただし、既存能力を確実に発揮することと、新しい能力を獲得することは別の問題です。

出典：Hugging Face Daily Papers