基盤モデルの学習を単一アルゴリズムで統一できるか

導入

基盤モデルは通常、複数の段階を経て作られる。大規模な事前学習の後に、中間学習、教師ありファインチューニング（SFT）、そして強化学習（RL）が続く構成が一般的だ。各段階では、データだけでなく、損失関数や学習システムも切り替わることが多い。論文「Training Foundation Models with a Single Algorithm」は、この分離が本当に理論上必要なのかを問い直している。

研究のポイントは、すべての学習目標を同一にすることではない。むしろ、異なる目標を共通の最適化の言葉で記述することにある。著者らは、適切な強化学習の目的を、モデルが生成した目標分布に対する最尤フィッティングとして導出する。これにより、RLも通常の尤度ベース学習に近い形で扱える。

一つの学習器に異なるデータを投入

この見方では、事前学習、SFT、RLは、必ずしも別々の学習アルゴリズムではなく、異なるデータ源や目標分布を使う同一アルゴリズムの適用例になる。研究チームは、静的なデータセットとRLによって生成されたサンプルを、一つのトレーナーの中で混合する統一学習システムを実装した。

従来の段階的学習も排除されない。統一された枠組みの中で、特定の順序とデータ配分を選ぶ一つの特殊ケースとして捉えられるからだ。この転換により、設計者が考えるべき中心課題は「いつアルゴリズムを変えるか」ではなくなる。代わりに、次のようなデータスケジュールの設計が重要になる。

• どの静的データと生成データを使うか
• 各データ源にどの程度の重みを与えるか
• 生成サンプルをいつ学習に加えるか
• 特定タスクの性能と汎用能力をどう両立するか

実験が示す意味

論文によれば、統一学習は管理された実験と実環境の実験の両方で、精度と計算量のトレードオフを改善し、より広いタスクをカバーした。また、広範な能力を維持しながら、継続学習に向けたより良い出発点になったという。

この成果の意義は、単にトレーナーを一つにまとめたことだけではない。数学的な目的、学習インフラ、モデル能力の発達を同じ枠組みで考えられる点にある。今後の基盤モデル開発では、新しい損失関数を考案するだけでなく、異なるデータ分布をどの比率と順序で組み合わせるかが、同じくらい重要になる可能性がある。

もちろん、統一アルゴリズムだけでデータ品質、目標設計、学習の安定性、能力の忘却が解決するわけではない。結果はデータとスケジュールの選択に依存する。それでも、従来の固定的な段階構成より広い設計空間を提供し、学習プロセスを比較・分析するための共通基盤を示した点は注目に値する。

出典：Hugging Face Daily Papers