Distilled RL：LLM後学習に教師モデルの細かな知識を組み込む手法

導入

大規模言語モデルの後学習では、推論能力、タスク適応、アラインメントをどう高めるかが重要になります。一般的な方法には、最終的な回答の良し悪しを報酬として最適化する強化学習と、教師モデルの出力分布に学生モデルを近づけるオンライン方策蒸留があります。しかし前者は報酬が粗く、どの token や推論ステップが成功に寄与したのかを特定しにくい。後者は教師を無条件に模倣しがちで、教師と学生の差が大きい場合には指導がうまく働かないことがあります。

論文「Distilled Reinforcement Learning for LLM Post-training」は、この二つの問題を同時に緩和するために Distilled RL を提案しています。

核心ポイント

• 標準RLの弱点は信用割当です。 回答全体に対する報酬だけでは、途中のどの選択が良かったのかを細かく学習しにくく、新しい知識の獲得にも限界が出ます。
• OPDは教師をコピーしすぎる可能性があります。 教師と学生が近ければ追加情報は少なく、遠ければ logits の無条件マッチングが不安定な指導になり得ます。
• Distilled RLは教師を“模倣対象”ではなく“重み付け信号”として使います。 反向重要度サンプリングにより、学生が生成した各 token について教師が相対的にどれだけ好むかを測ります。極端な比率は clipping で抑えます。
• 負のサンプルでは教師重みをリセットします。 advantage が正の軌跡にのみ教師の再重み付けを適用し、非正の場合は通常のRL更新に戻します。これにより、失敗した回答を教師の名の下に強化してしまうリスクを下げます。
• 系列単位の幾何正規化を使います。 回答全体のスケール偏りを取り除きつつ、token 間の相対的な教師選好を維持します。

実験結果

論文では Qwen3-8B-GRPO を教師モデルとして用い、三つの学生モデルで評価しています。十個の数学推論ベンチマークにおける平均 Pass@1 では、DeepSeek-R1-Distill-Qwen-1.5B がベースの 31.70 から Distilled RL の 40.00 に向上しました。Qwen3-1.7B は 46.37、Qwen3-4B は 58.96 に到達しています。提示された表では、Distilled RL が標準RL、OPD、OPD+RLの直接的な組み合わせをいずれも上回っています。著者らは、同一ファミリー内だけでなくクロスファミリー蒸留でも効果があり、Pass@1 と Pass@k の両方で改善が見られるとしています。

意義と影響

この手法の要点は、教師モデルをそのままコピーする対象にしない点です。教師は、報酬によって有効と判断された軌跡の中で、どの token に学習信号を強く配分するかを示す補助情報として使われます。推論タスクでは少数の重要ステップが答え全体を左右することが多く、この設計は後学習の効率化につながる可能性があります。

一方で、素材で示された主な結果は数学推論ベンチマークに基づくものです。より開かれたタスク、アラインメント用途、教師と学生の規模差が異なる条件でどこまで安定するかは、今後の検証が必要です。

出典：Hugging Face Daily Papers