RL 後学習の計算資源はどこに使うべきか：モデル、探索、学習、フィードバックの配分

導入

強化学習による後学習は、基盤モデルに推論や計画能力を与えたり、フィードバック駆動のロボット学習パイプラインを構築したりするうえで重要になっている。一方で、そのコストはしばしば「総 FLOPs」という一つの数字にまとめられる。arXiv 論文 “Where Should RL Post-Training Compute Go?” は、この単純化が見落とす問題に焦点を当てる。固定された後学習予算の中で、計算資源を大きなポリシーモデルに使うのか、より長い学習に使うのか、rollout 探索に使うのか、それとも強い報酬フィードバックに使うのか、という問いである。

主要ポイント

• 総 FLOPs だけでは不十分：著者らは GRPO 後学習のための FLOP 会計フレームワークを導入し、計算を rollout/search、policy-update/learning、reward または feedback model evaluation に分解する。これにより、予算がサンプリング、最適化、フィードバックのどこに使われたかを明示できる。
• モデルサイズと学習配分は独立ではない：同じ FLOPs で比較しても、大きなポリシーは token あたりの計算量が大きいため、利用できる更新回数や rollout 数が減る。つまりモデル選択は単なるサイズの問題ではなく、学習全体の配分を変える要因になる。
• 報酬方式が計算の内訳を変える：ルールベース報酬では、更新以外の計算の多くがポリシー rollout に向かう。一方、PRM 風のフィードバックでは、報酬モデル推論が予算の一部を明確に占める。フィードバックを強化するには、その計算コストも同じ会計の中で扱う必要がある。
• 普遍的な最適配分は示されていない：LoRA を適用した Qwen2.5 ポリシーでの結果では、観測された最良の配分はモデルサイズ、総予算、報酬システム、評価ターゲットによって変わる。ある条件で有効な配分を別条件へそのまま移すことはできない。
• RACE は診断プロトコル：論文は RACE を、高価な検証の前に有望な配分領域を探す pilot-grid protocol として提案している。ただし、held-out 性能の向上を保証するものではなく、あくまで診断的な手段として位置づけられている。

意義と影響

この研究の重要性は、「最適な計算配分の黄金比」を提示した点ではない。むしろ、RL 後学習の比較にはより細かいコスト報告が必要だと示した点にある。同じ総 FLOPs を使った実験でも、探索、学習、フィードバックへの配分が異なれば、実質的には別の実験になる。

研究コミュニティにとっては、総計算量だけでなく内訳も報告することが再現性と比較可能性を高める。実務面では、限られた予算の中で、いきなり大きなモデルや大量サンプリングに賭けるのではなく、小規模な診断グリッドで配分の見通しを立てることが重要になる。推論モデル、エージェント、身体性 AI で RL 後学習が広がるほど、「どれだけ計算したか」と同じくらい「どこに計算を使ったか」が問われるだろう。

出典：arXiv