GFlowRL：分布一致型RLを大規模言語モデルへ拡張

導入

大規模言語モデルの後処理学習では、報酬を最大化する強化学習が広く使われている。しかしこの方針は、少数の高得点パターンにモデルを寄せすぎる可能性がある。論文 GFlowRL: Scaling Distribution-Matching RL to Large Language Models は、報酬最大化ではなく、報酬に基づく分布そのものにモデルを合わせるという GFlowNet 系の考え方を、大規模LLMで安定に使うことを狙う。

GFlowNet は、多様な高報酬の解や推論経路をサンプリングするための枠組みとして注目されてきた。数学やコード生成で有望な結果はあったが、現代的なポストトレーニング環境へ拡張する際には大きな課題が残っていた。

主要ポイント

• ボトルネックは分配関数：従来の GFlowNet 型RLでは、prompt 条件付きの分配関数を別ネットワークで学習することが重要とされていた。だが論文は、モデル規模、rollout の長さ、報酬ノイズ、分散学習の複雑さが増すと、この成分が勾配不安定性と実装負担の原因になると分析する。
• GFlowRL の簡素化：GFlowRL は補助的な分配関数ネットワークを完全に取り除く。その代わり、学習で既に必要になる rollout group から、バッチ内モンテカルロ推定で正規化量を計算する。
• 安定化の工夫：rollout 側と trainer 側の方策のずれを補正する importance-sampling correction と、外れ値的な残差を抑える asymmetric flow-gap clipping を導入する。
• 報告された性能：論文によれば、GFlowRL は数学、コード、敵対的レッドチーミングの各ベンチマークで比較手法を上回った。14B規模では Codeforces rating 2048 に到達し、o3-mini との差は25 Elo以内とされる。AdvBench と HarmBench では平均 ASR@1 が最も高かった。
• MoE への適用：評価対象のすべての MoE 構成、最大235Bパラメータまで同じ手法を転用できたとされる。著者らは、従来の FlowRL が発散する設定でも GFlowRL は安定したと述べている。

意味と影響

この研究の重要性は、単にベンチマーク値を上げたことではない。理論的には自然に見える学習型分配関数が、大規模分散トレーニングではむしろ不安定要因になるという実務的な問題を示し、より軽い推定で置き換えた点にある。

外部からの再現検証が進めば、GFlowRL は報酬最大化型RLを補完する有力な選択肢になり得る。特に、複数の正解経路が存在する数学推論、探索的なコード生成、安全性評価のためのレッドチーミングでは、多様な高品質サンプルを保つことが重要になる。一方で、攻撃生成能力の向上はデュアルユース性も持つため、実利用には慎重な安全設計が必要だ。

出典：arXiv