GRPOの密な報酬は追加計算量に見合うのか

検証可能な報酬を使う強化学習では、言語モデルが最終回答を正しく出したときに報酬を与え、推論能力を学習させる。代表的な手法であるGRPOでは、最終的な成否から得られた信号を解答中のトークンに広く割り当てる。これに対し、密なプロセス報酬は途中のステップにも信用を割り当てようとする。

その一例がモンテカルロ報酬だ。あるステップまで生成した後、そこから複数の続き（continuation）をサンプリングし、最終的な成功率から、そのステップがどれだけ有望だったかを推定する。理論上はより詳しいフィードバックになるが、推定のための生成にはコストがかかる。今回の設定では、続きのサンプリングだけで全生成トークンの91%を占めた。

更新回数だけでは見えない差

研究チームは、各介入に同じ計算予算を与える評価プロトコルを設計した。比較対象をそろえたのは、生成トークン数と学習に使ったGPU時間である。実験は事前登録され、介入による副作用も考慮された。6モデルで合計1668回の実験を行った結果、更新回数だけで見た順位は、計算量をそろえると逆転した。

Qwen2.5-1.5Bでは、同じ更新回数で比べるとモンテカルロ報酬が標準GRPOを上回った。しかし生成トークン数をそろえると、最終精度は標準GRPOより14.3ポイント低くなった。学習時間をそろえた場合も7.8ポイント低かった。4種類の密な報酬はいずれも、同じ学習時間を与えた標準GRPOを上回らなかった。

トークン単位の勾配テストは、報酬方式の大まかな順位を本学習と同じように並べた。ただし実際の改善幅を1〜2ポイント過大評価した。この誤差は、テストが見つけようとする改善幅に匹敵する。したがって、単一バッチの勾配テストだけで、完全な計算量一致評価を置き換えることは難しい。

より単純なデータ選択

研究では報酬を複雑にする代わりに、学習するプロンプトを選ぶ方法も調べた。モデルが正解すると予測する確率が約半分の問題、つまりモデルが最も不確かな問題を優先する方法である。計算量をそろえた場合、Qwen3-0.6Bで1.7ポイント、Qwen2.5-1.5Bで0.8ポイントの精度向上が得られた。新しい乱数種と未見問題でも効果は再現された。

もっとも、この結果は新手法が根本的に優れていることを意味しない。改善は学習初期に現れ、標準GRPOの初期学習率を2倍にすると差は0.5ポイント以内に縮まった。候補プロンプトが「成功より失敗しそう」と予測されるかどうかという単純な規則も、事前登録された6つのテストのうち5つで効果の現れ方を予測した。

研究への示唆

本研究は、密な報酬があらゆる場面で無効だと結論づけたものではない。重要なのは、追加のサンプリング、生成トークン、GPU時間を含めて価値を判断することだ。推論モデルの評価では、更新回数やバッチを単位にするだけでなく、介入同士の計算量をそろえることが、報酬設計や学習戦略を比較するための基本条件になりそうだ。

出典：Hugging Face Daily Papers