人手の質問と回答なしで、言語モデルは自ら学習できるのか

導入

大規模言語モデルの後学習では、通常、人が作成した質問、正解、問題集、あるいはより強力な教師モデルが使われる。自己蒸留を利用する方法でも、何を学習させるかを定めたデータ分布が前提になることが多い。今回の研究は、その前提をさらに弱められるかを検討する。モデルに与えるのが大まかなトピック説明だけでも、練習問題と教師信号を自ら作れるのか、という問いだ。

OPSTの仕組み

提案されたOn-Policy Self-Training（OPST）は、オンポリシー自己蒸留をモデル主導の自己訓練ループとして構成する。主な流れは次の通りである。

• カリキュラムを自動生成する：人手で書かれたプロンプトや回答を直接与えず、高レベルのトピックからモデルが問い合わせを作り、学習用の分布を組み立てる。
• 推論デモを生成する：最終回答だけでなく、学習に利用できる特権的な推論トレースもモデル自身が作成する。
• 擬似検証で選別する：生成された問題を、新しい文脈で同じ回答を再現できるか、さらに質問を言い換えても整合するかで確認する。条件を満たさない例は学習から外す。
• マルチモーダルへ広げる：Visual OPSTでは、同じ考え方を視覚質問応答に適用し、合成された推論情報が画像を含む課題でも役立つかを調べる。

これは、モデルが無から新しい知識を得るという主張ではない。基盤モデル内にすでに存在する能力を、モデル自身の出力分布に沿って整理し、強化する発想である。外部の強い教師を必須としない点も特徴になる。

意義と限界

論文では、複数の言語領域と標準的な言語ベンチマークで改善が見られ、Visual Question Answeringにも効果が及ぶと報告されている。また、生成する領域を混ぜた場合でも、自己訓練していない領域の能力が必ずしも失われないことを検討している。つまり、合成データによる自己訓練が、特定領域だけに閉じた手法とは限らないことを示唆する。

OPSTの重要性は、監督をなくすというより、監督をより上位の抽象度へ移す点にある。すべての設問と正解を人が用意する代わりに、トピックを与え、モデルに学習課程を作らせる。擬似検証も、回答が真実であることを保証するものではないが、文脈や表現が変わると答えが崩れる不安定な例を減らす手段になる。

一方で、監督信号が完全に消えたわけではない。トピックの指定、基盤モデル、訓練設計、評価基準が結果の範囲を決める。モデルは誤答を一貫して再現したり、既存の偏りを強めたりする可能性もある。したがってOPSTは、無制限の自己進化の証明ではなく、キュレーションされた課題データへの依存を減らす方法として捉えるのが適切だろう。

出典：Hugging Face Daily Papers