弱いモデルが強いモデルを教える：W2S-OPD の狙い

導入

モデル蒸留では、多くの場合「教師は学生より強い」という前提が置かれます。大きなモデルを小さなモデルへ圧縮する場面では自然な考え方ですが、最前線の大規模言語モデルでは問題になります。学生モデルがすでに非常に強い場合、さらに強く、安定して使える教師を用意するのは簡単ではありません。論文「Weak-to-Strong On-Policy Distillation」が提案する W2S-OPD は、この制約を避けるために、複数の弱いモデルから強い学生モデルを改善する信号を取り出します。

核心となる考え方

• 強い教師を必要としない OPD：on-policy distillation は、学生自身の rollout 上で、教師の token レベル分布に学生を近づけます。W2S-OPD はこの枠組みを保ちつつ、教師が学生以上に強い必要はないと考えます。
• logit 空間で代理教師を構成：正のモデルと負のモデルのペアを使い、その logit 差分を能力方向として抽出します。両方のモデルは学生より小さく、比較的安価に用意できるという設計です。
• 三つの対比例：論文では、RL 後の専門モデルと RL 前の初期モデル、より大きな基盤モデルとより小さな基盤モデル、正しいヒントと誤ったヒントを与えた小型モデル、という対比を使っています。
• 学生に近い分布を保つ：抽出した方向を学生自身の基盤モデルに加えることで、学生から大きく離れすぎない代理教師を作ります。

意義と影響

W2S-OPD の重要点は、弱いモデルをそのまま模倣対象にしないことです。弱いモデル間の差を使って、「どの方向に分布を動かすべきか」を推定します。これにより、RL が与える推論スキル、モデルスケールが生む解法傾向、正しいヒントが示す問題ごとの方向性を、強い学生モデルの学習信号として利用できます。

論文の要約によれば、W2S-OPD は四つの数学ベンチマークと三つのコードベンチマークで通常の OPD を上回り、学生がドメイン教師を超えるケースも示されています。また、post-RL とヒントの対比は推論フレームワークを、スケールの対比は解法手順をより強調するという分析も紹介されています。

ただし、提供素材だけでは詳細なモデル規模、学習コスト、再現条件までは確認できません。それでも、より強い教師を探すのではなく、弱い監督源の差分から有用な能力方向を抽出するという発想は、今後の LLM 訓練にとって注目すべき方向です。

出典：Hugging Face Daily Papers