SAF-OPD：強化学習とオンポリシー蒸留を安定に組み合わせる

導入

大規模言語モデルの後学習では、検証可能な報酬を使う強化学習と、強い教師モデルから学ぶ蒸留がともに重要な役割を持つ。前者は最終回答の正しさを報酬として与え、モデル自身の探索を促す。一方、オンポリシー蒸留（OPD）は教師モデルとの比較を token 単位で行い、より密な学習信号を提供する。

しかし、性質の異なる二つの信号は、単純に足し合わせればよいわけではない。論文 SAF-OPD: Stable Advantage Fusion for On-Policy Distillation は、GRPO のような RLVR と OPD を固定係数で融合すると、entropy collapse が起き、モデルが早い段階で教師に引き寄せられすぎる可能性を示している。

重要なポイント

• RLVR と OPD は報酬の粒度が違う。 RLVR は通常、回答全体に対する一つの報酬を各 token に配る。信号は粗いが、検証可能な結果に基づく。OPD は token ごとに教師との違いを評価し、細かな advantage を与える。
• スケールの不一致が起きる。 一部の OPD advantage は、GRPO 側の有界な advantage より大きく跳ね上がることがある。その結果、教師信号が更新を支配し、検証報酬による探索信号が弱まる。
• 時間方向の不一致も問題になる。 訓練の全期間で OPD を強くかけ続けると、学生モデルは教師に近づき続ける。KL 距離は小さく見えても、精度は早く頭打ちになる可能性がある。
• SAF は OPD advantage だけを調整する。 手法は Top-k スパース化、tanh による有界圧縮、KL トリガーのウォームアップ、線形アニーリングの四段階で構成される。各段階は独立にオン・オフできる。
• 追加コストが小さい。 SAF は追加モデル、補助損失、追加 forward pass を必要としないため、既存の GRPO+OPD パイプラインに組み込みやすい。

意義と影響

この研究の示唆は明確だ。教師モデルに近いほど良い、とは限らない。蒸留は学習効率を高めるが、目標が教師の模倣ではなく、検証可能なタスクでさらに良い解を探索することなら、教師信号は強すぎても長すぎても制約になり得る。

SAF はそのバランスを取るための軽量な設計である。スパース化と圧縮によって token 単位の過大な advantage を抑え、ウォームアップとアニーリングによって訓練段階に応じた教師への依存度を変える。著者らは Qwen3-1.7B、4B、8B を用い、七つの数学推論・コード生成ベンチマークで評価した。その結果、固定係数の GRPO+OPD 融合より安定し、六つのモデル・領域設定で総合スコアを 0.51% から 2.70% 改善した。

後学習の実務にとって、SAF は大きな構造変更を求めない点が重要である。主となる強化学習アルゴリズムを変えず、教師信号の扱いを調整するだけで、探索と模倣のバランスを改善できる可能性がある。

出典：Hugging Face Daily Papers