OPD²：推論チューニングで増えた能力だけを蒸留する新手法

導入

大規模言語モデルの後段学習では、報酬モデルに依存する強化学習だけでなく、教師モデルから token レベルの監督を受ける on-policy distillation も重要な選択肢になっている。NAVER AI Lab の論文「On-Policy Delta Distillation」は、この蒸留の設計を見直し、教師モデルの出力分布全体ではなく、教師がベースモデルからどれだけ変化したかを学習信号にする OPD² を提案している。

この発想の背景には、推論モデルの出力には複数の要素が混ざっているという問題がある。教師モデルは、ベースモデル由来の一般的な言語能力や表現傾向を持ちつつ、推論向けチューニングによって新しい振る舞いを獲得している。推論能力を移すことが目的なら、教師全体を模倣するより、チューニングで追加された差分に注目したほうが効率的だという考え方だ。

主なポイント

• delta signal の導入：OPD² は、推論チューニング後の教師モデルと、その前のベースモデルとの差を蒸留報酬として定義する。
• 推論能力に焦点を絞る：教師の完全な出力分布ではなく、推論チューニングが生んだ変化を強調することで、より直接的な能力移転を狙う。
• on-policy distillation の枠組みを維持：学生モデル自身の生成軌跡に対して監督を与える構造は保ちながら、報酬信号の設計を変更している。
• 複数領域で検証：論文では、数学、科学、コード推論のベンチマークで、従来の on-policy distillation を一貫して上回ったとされる。
• モデル設定をまたいだ効果：素材によれば、複数サイズの Qwen3、thinking と non-thinking の両モード、さらに Gemma 4 でも効果が確認されている。

なぜ差分が重要なのか

通常の教師蒸留では、教師モデルの強みだけでなく、必ずしも目的能力に関係しない癖や分布も学生に伝わる可能性がある。特に推論モデルでは、説明の書き方、ステップの組み立て、コード生成時の選択、科学問題での推論順序など、多くの要素が絡み合っている。

OPD² は、教師とそのベースモデルを比較することで、推論チューニングによって変わった部分を浮かび上がらせる。これは、最終モデルだけを見るのではなく、モデルがどのように成長したかを訓練信号として使うアプローチだと言える。

意義と影響

もし論文の結果がさらに広いモデルやタスクで再現されるなら、OPD² は短い後段学習で推論能力を移転する実用的な方法になり得る。大きな教師モデルのすべての振る舞いをコピーするのではなく、推論性能を高めた変化そのものを取り出して学習するためだ。

また、この研究は蒸留信号の作り方に新しい視点を与えている。最終的な教師モデルだけでなく、ベースモデル、調整済みモデル、あるいは異なる能力状態のモデル同士の差分も、価値ある監督信号になり得る。

現時点の素材だけでは、長文コンテキストや実運用環境での安定性までは判断できない。それでも OPD² は、推論 LLM の後段学習をより狙いの明確なものにする設計として注目に値する。

出典：Hugging Face Daily Papers