On-Policy Distillationの本質：能力を増やすのではなく探索を整える

導入

On-Policy Distillation（OPD）は、LLMの事後学習で注目される手法の一つだ。学生モデルが自分自身の現在の方策に基づいて出力を生成し、その軌跡に対して教師モデルやガイド信号がトークン単位の学習目標を与える。教師あり微調整、知識蒸留、強化学習の要素が重なるため、実用上は有効でも、なぜ効くのか、どこで壊れるのかは見えにくい。

論文「Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations」は、このOPDの学習ダイナミクスを整理している。著者らの主張は明確だ。OPDは学生モデルの能力上限を新たに押し上げる魔法ではなく、すでに到達可能な推論経路へモデルを導く「探索の触媒」として働く。

核心ポイント

• OPDは能力を作るのではなく探索を誘導する
  OPDは密なトークンレベルのガイダンスによって、学生モデルの生成過程をより正しい推論経路へ向ける。モデルが潜在的に解ける課題であれば、その能力を引き出しやすくするが、存在しない能力を単独で生み出すわけではない。

• 同じ問題の反復サンプリングよりプロンプト多様性が重要
  論文は、1つの問題に対して多数のサンプルを取ることより、より多様なプロンプトに触れさせることの方がOPDの効果に大きく関わると述べている。これは、OPDが単なる反復試行ではなく、探索空間の広がりから利益を得ることを示唆する。

• 教師信号の質が決定的な制約になる
  OPDの有効性は、ガイド信号がタスクの正しさと整合しているかに依存する。信号が忠実であれば学生は良い推論へ進むが、信号がずれていれば、学習は自信を持って誤った方向へ進んでしまう。

• 二つの病理：教師とのずれと長さの悪用
  一つ目は学生—教師ミスマッチである。教師と学生の分布差が大きいと、教師のトークン単位の好みが学生の現在の状態に適さず、タスク正解性とずれる可能性がある。二つ目は長さの悪用だ。トークン単位の目的を集約する設計では、学生が推論改善ではなく、回答を短く切る、あるいは冗長に伸ばすといった長さ依存の近道を学ぶことがある。

• 軽量な信号調整が有効
  著者らは、advantage clippingや対数スケール圧縮といった信号調整を検討している。これらは極端な信号や長さに由来する抜け道を抑え、より忠実な探索を促すための仕組みだ。論文では、こうした調整により長さの悪用が緩和され、複数のベンチマークでOPD変種やRLVRベースラインを安定して上回ったと報告している。

意義と影響

この研究の示唆は、単に「より大きな教師を使えばよい」という考えへの警告でもある。重要なのは教師の規模そのものではなく、教師信号が学生モデルの分布とタスク目的に合っているかどうかだ。LLMを訓練する現場では、プロンプトの幅、教師と学生の適合性、報酬や信号の正規化が、モデルサイズと同じくらい重要になる。

また、OPDと強化学習型の事後学習の関係も見えやすくなる。どちらも探索を形作るが、OPDはより密な過程信号に依存するため、信号のずれや長さに関する抜け道に敏感だ。推論、コード生成、エージェントタスクへOPDを広げるなら、こうした信号をどう規制するかが信頼性の鍵になる。

出典：arXiv