少ない訓練でより多くを学ぶ：不確実性で推論後学習を圧縮

導入

大規模言語モデルの推論能力を高めるには、長い思考連鎖を含む大規模なデータで追加学習する方法が広く使われています。しかし、データを増やせば増やすほど性能が比例して向上するとは限りません。計算量と訓練時間だけが増え、学習にとって価値の低い軌跡にも最適化資源を費やす可能性があります。

南京大学の研究チームが発表した論文は、この問題を「どれだけ多く訓練するか」ではなく、「どの推論過程に訓練を集中するか」という観点から捉え直しました。提案手法は、不確実性に基づいて監督データと最適化を段階的に絞り込むものです。

手法のポイント

一般的なパイプラインでは、教師モデルが生成した Chain-of-Thought を一つの完成した経路として扱います。しかし、単一のサンプルだけでは、どの中間段階が安定していて、どこで複数の可能性に分かれるのかを確認できません。

この研究では、中間の推論状態を起点に複数の続きをサンプリングし、モンテカルロ推論木を構築します。こうして得られる複数の経路から、推論過程における不確実性を推定し、監督信号に「不確実性のプロファイル」を付加します。重要なのは、単なるデータのばらつきではなく、学習上どの中間ステップが有用かを把握しようとしている点です。

フレームワークは二段階で動作します。

• 教師情報に基づく収縮：不確実性を利用して、元のコーパスから価値の高い軌跡を選び、コンパクトな監督データプールを作ります。
• 学習者に基づく収縮：SFT の実行中、学生モデルの学習状態を見ながらオンラインでデータを振り分け、現在のモデルにとって必要な例へ最適化を集中させます。

つまり、第一段階は「何を残すか」を決め、第二段階は「その時点で何を学習させるか」を調整します。事前に一度だけデータを削る静的な選別とは異なり、学習の進行に応じた適応的な処理になっています。

結果と意義

論文の概要によると、複数の推論ベンチマークと異なる LLM ファミリーを用いた実験で検証されています。一部の設定では、完全なデータによる SFT の最適化予算の 0.22% まで削減し、訓練への露出を 450 分の 1 以上減らしながら、推論性能を維持または向上させたとされています。また、異なる学生モデル、ブラックボックス教師、弱いモデルから強いモデルへの転移にも適用できると報告されています。

この研究の意味は、単に GPU コストを削ることにとどまりません。推論後学習を、利用可能な全データを順番に処理する作業から、学習機会を動的に配分する問題へと見直す提案だからです。不確実性が高価値な監督を安定して見つけられるなら、カリキュラム学習やデータ選択、オンライン微調整にも応用できる可能性があります。

ただし、提示された素材には、モデル規模やデータ構成、保持率、各ベンチマークの詳細数値は含まれていません。したがって 0.22% は全条件に適用できる一般的な設定ではなく、報告された実験の一部における結果として読むべきです。今後は、タスクの種類、教師モデルの品質、推論の長さが変わっても費用対効果が保たれるかを確認する必要があります。

出典：Hugging Face Daily Papers