FlowBalance、検証器で推論モデルの自己改善を校正

概要

推論モデルは、自分が生成した回答を利用してさらに学習できます。しかし、自己改善が常に正しい方向へ進むとは限りません。終端検証器は最終回答の正誤を比較的信頼できる形で判定できますが、信号は軌跡の最後にしか現れません。一方、同じモデルによる密なフィードバックは学習に使いやすい反面、もっともらしい誤りを正しい推論だと誤認し、過信を強化する危険があります。FlowBalanceは、この二つの信号を結果に基づいて組み合わせます。

手法の要点

FlowBalanceは、個々のトークンに対する模倣損失を追加するのではなく、完全な回答軌跡の分布を学習します。処理の流れは次の通りです。

• 軌跡をサンプリングする：現在の方策で複数の推論回答を生成し、終端検証器で結果を評価します。
• 自己支援スコアを作る：学習時に凍結された同じ方策のビューが、特権コンテキストを利用してトークン単位の対数確率の増分を計算し、軌跡単位のスコアへ集約します。
• グループ優位性で調整する：検証器由来の優位性が正の軌跡では自己支援を維持します。負の軌跡では支援の向きを反転し、グループ内で結果の優劣が生じない場合は自己支援を無効にします。
• 軌跡レベルで適合させる：調整後のスコアをエネルギーとして基準方策を指数的に再重み付けし、プロファイル化した軌跡バランスで正規化された目標分布に合わせます。

重要なのは、モデル自身の密な信号を無条件に信頼しない点です。モデルは学習の細かな方向を提供しますが、その方向を採用するか、反転するか、無視するかは検証器の結果によって決まります。

分析と実験結果

論文では、グループ内の対比関係が保たれること、逆KLに基づく最小変更として解釈できること、検証器が目標報酬を単調に制御することなどを分析しています。また、検証器に拒否された回答に誤った正の自己支援が付く場合を、正確に補正できると説明しています。

数学推論では、FlowBalanceがQwen3-4BとQwen3-8Bの双方でFlowRLを上回ったと報告されています。さらに、学習速度と安定性の改善、直接的なOPSDで見られる回答長の崩壊の回避、管理されたAIME24診断における正しい戦略の多様性向上も示されています。提供された素材には具体的なスコアがないため、これらは方向性の比較として読むべきです。

意義と課題

FlowBalanceは、自己改善型の推論学習における信用割り当ての考え方を明確にします。検証器が、自己フィードバックを強化するのか、抑制するのか、停止するのかを決めるため、疎な結果報酬と密な自己指導を対立させずに利用できます。終端判定が比較的容易な数学問題では特に有効な設計です。

一方で、性能は信頼できる検証器、意味のあるグループ比較、学習時の特権コンテキストに依存します。品質を終端で厳密に測りにくい自由形式の生成へどこまで一般化できるかは、今後の課題です。

出典：Hugging Face Daily Papers