SAT：古い rollout に応じて信頼領域を調整し、非同期強化学習を安定化

導入

大規模モデルの強化学習では、rollout 生成と最適化を切り離す非同期構成が魅力的になっている。推論エンジンは継続的にサンプルを生成し、学習側はそれを受け取ってモデルを更新する。この設計はスループットを高めるが、同時に避けにくい副作用を生む。生成時の方策と、実際に学習で使われる時点の方策が一致しなくなる「staleness」である。

論文「Stale but Stable」が提案する Staleness-Adaptive Trust Region（SAT）は、この問題を単なるシステム遅延ではなく、信頼領域のずれとして捉える。PPO のクリッピングはサンプルされた更新比率を制限するが、推論時方策と学習時方策の乖離全体を完全に縛るものではない。非同期環境では、policy lag、推論エンジンの遅延、MoE ルーティングの違いが重なり、高 staleness のサンプルほど制御が重要になる。

主要ポイント

• 問題の焦点は方策のミスマッチ。 論文は、有限ホライズンの近似誤差において、学習方策とデータ生成方策の乖離が重要になると整理している。
• SAT は staleness に応じて信頼領域を変える。 detached sampled log-ratio を実用的な代理指標として使い、バッチ内でミスマッチの大きい尾部を識別する。
• すべてを一律に縮めるわけではない。 SAT は名目上の PPO 区間全体ではなく、符号によって選ばれた端点だけを収縮する。通常の token ではベースラインの挙動を保ちつつ、外向きの危険な更新を抑える狙いだ。
• 理論的な性質も示される。 著者らは、PPO に対する局所的な区間包含と点ごとの悲観性を証明し、異質な staleness の下で更新の幾何がどう変わるかを説明している。
• 実験は実際的な非同期 RL 構成で行われた。 Qwen3-30B-A3B-Base を用い、推論に SGLang、学習に Megatron を使う。報告された設定では、SAT-GSPO w/ R3 が AIME24 avg@8 で最良の観測値を示し、lag 1 で 35.83、lag 8 で 34.79 に到達した。SAT-GSPO は lag 1 で 34.17 を記録している。

意義と影響

SAT の重要性は、非同期 RL の安定性を「平均的な遅延」ではなく、サンプルごとのミスマッチ分布として扱う点にある。実際の分散 RL パイプラインでは、現在の方策に近いサンプルもあれば、かなり古いサンプルも混在する。一律の PPO クリップでは、古いサンプルには緩すぎ、通常サンプルには保守的すぎる可能性がある。

そのため、SAT は学習効率と安定性の折衷を狙う手法といえる。さらに論文は、適応的クリッピングと routing replay が別々の不一致を扱う相補的な安定化手段だと述べている。前者はミスマッチの尾部、後者はルーティング不整合を対象にする。

ただし、提示された結果は特定のモデル、ベンチマーク、非同期スタックに基づく。より多様なタスクや MoE 構成、遅延分布で同じ傾向が続くかは今後の検証が必要だ。それでも本研究は、分散化する RL 最適化では advantage や ratio だけでなく、サンプルがどれだけ古いかも最適化器が意識すべきだという方向性を示している。

出典：Hugging Face Daily Papers