外部監督なしのオンポリシー自己蒸留：モデル自身の合意から学ぶ U-OPSD

導入

大規模言語モデルの後段学習では、正解ラベル、環境からのフィードバック、あるいはより大きな教師モデルの出力が重要な役割を果たしてきた。Hugging Face Daily Papers に掲載された論文「On-Policy Self-Distillation without Any Supervision」は、この前提に一石を投じる。提案手法 U-OPSD は、外部監督を使わず、モデル自身の生成結果に含まれる内部一貫性だけを手がかりにオンポリシー自己蒸留を行う。

主要ポイント

• 背景：OPD / OPSD は LLM の後段学習で有望な方法として注目されている。しかし既存手法の多くは、真値、環境報酬、または大型モデルによる誘導に依存しており、完全な意味での「自己」蒸留とは言いにくい。
• U-OPSD の仕組み：モデルに同じ問題を複数回解かせ、複数の rollout を得る。そのうえで、自己一貫性のしきい値を満たす多数決により擬似解を構成する。この擬似解は人手のラベルではなく、モデル自身の試行から生まれる合意である。
• 学習の焦点：U-OPSD はすべての生成をそのまま模倣するわけではない。擬似解を条件としてモデルの分布を整え、擬似解と一致しない補完に対して蒸留を行う。つまり、モデルが自信を持って誤りやすい部分を狙って修正する設計になっている。
• 実験結果：AIME24、AIME25、HMMT25、MATH500、AMC23 の 5 つの数学推論ベンチマークで、U-OPSD は Qwen3 の non-thinking mode において、4B で 8.5%、8B で 10.7% 基盤モデルを上回った。また同設定で OPSD を平均 3.2% および 2.3% 上回っている。thinking mode では OPSD とほぼ同等で、4B では 0.9% 上回り、8B では同水準、GRPO に対してはそれぞれ 0.7% と 1.1% 上回った。

意義と影響

この研究の重要性は、外部から新しい報酬や教師を追加するのではなく、自己一貫性を訓練信号へ変換した点にある。モデルが複数回の推論で同じ結論に集まるなら、その合意を暫定的な教師として利用できる。そして、合意から外れた生成こそが改善すべき箇所になる。

数学推論のように、複数サンプリングによって正しそうな経路と不安定な経路が見えやすい領域では、この発想は特に有効に見える。ラベルを用意しなくても後段学習を回せる可能性があり、コスト面でも拡張性の面でも魅力がある。

一方で、多数決は万能ではない。モデルが同じ誤答に何度も収束する場合、擬似解も誤りになり得る。したがって U-OPSD は、モデルに存在しない知識を生み出す手法というより、既に内部にある能力や一貫性をよりうまく引き出す方法と見るべきだ。

総じて本論文は、LLM の自己改善に向けた実用的な方向性を示している。外部教師ではなく、モデル自身の合意と不一致を使うことで、後段学習の設計はさらに軽量でスケーラブルになるかもしれない。

出典：Hugging Face Daily Papers