OPRD、弱い教師を超える強いモデルの学習を加速

導入

大規模モデルを世代ごとに改良する場合、毎回ゼロから大規模な強化学習を行うには大きなコストがかかる。そこで以前のモデルを教師として利用する方法が考えられるが、通常の知識蒸留は教師の出力や分布を学生の目標にしやすい。その結果、学生が教師を再現するだけになり、より高い能力を持つモデルであっても教師の上限に縛られる可能性がある。論文「Eliciting Weak-to-Strong Generalization with On-Policy Reverse Distillation」は、この問題に対して OPRD を提案する。

核心となる考え方

• 模倣ではなく、改善方向を利用する。 弱い教師から学んだ強い学生が、最終的に教師を上回れるかが弱から強への汎化の問いである。論文では、世代間のモデル移行と、複数領域の教師を一つの学生に統合する設定を扱う。
• 学生のロールアウト上で教師を評価する。 学生が生成したデータに対して、教師が参照方策からどの方向へ変化したかを測定する。教師の出力をそのまま正解として固定するのではなく、学習を促す方向情報として扱う点が特徴だ。
• 検証器が支持する更新だけを増幅する。 OPRDは教師の示すすべての傾向を採用しない。学生の検証器ベースの方策勾配と同じ方向を向く成分だけを再スケールするため、更新の妥当性を判断する役割は検証器に残る。
• 目的関数を置き換えずに加速する。 この設計では蒸留損失で学生を教師へ引き寄せるのではなく、既存の方策最適化における更新の強さを調整する。論文の狙いは、定常点を保ちながら学習を速め、学生が教師を超える余地を残すことにある。
• 異なる能力関係にも適用する。 実験は世代間移行、複数教師蒸留に加え、通常の強教師から弱学生への蒸留も含む。報告された結果では、OPRDは既存の強化学習・蒸留手法より早く競合手法の最終水準に到達し、最終性能でも上回った。

意義と影響

OPRDは、ポストトレーニングにおける教師の役割を捉え直している。一般的な蒸留では教師の分布が学生の到達点になりやすい。一方、OPRDでは教師の方策変化を条件付きの最適化ガイダンスとして使い、最終的な更新の是非は検証器に委ねる。これにより、旧世代モデルの学習成果を再利用しながら、新しい学生の能力上限を教師に合わせてしまうリスクを抑えられる。

応答スタイルの分析でも、OPRDの学生は弱い教師より、検証器ベースの強化学習だけで訓練したモデルに近いと報告されている。これは、教師が学生の行動を別の固定形式へ誘導するのではなく、学生自身の最適化を速めているという解釈を支持する。ただし、効果は検証器の信頼性に依存し、教師の方向と検証結果が食い違う場合への対処も必要だ。弱い監督から強いモデルの成長を引き出すための、効率と自由度を両立させる提案と言える。

出典：Hugging Face Daily Papers