TraceForge、教師モデルの隠れた思考を使わず学生向け推論データを生成

背景

大規模言語モデルの蒸留では、教師モデルの回答だけでなく、その推論過程も学習データとして使う方法が広く採用されています。しかし、クローズドなモデルの中には、詳細な思考連鎖を返さず、最終回答や短い説明だけを提供するものがあります。TraceForgeは、この制約に対して別の考え方を示します。教師モデルの隠れた推論を取り戻すのではなく、文脈と教師の最終回答を入力として、学生モデル側で推論トレースを生成します。

手法の構成

TraceForgeの狙いは、教師の内部計算を忠実に再現することではありません。学生モデルが学習しやすい、同じモデル系列らしい表現を作ることです。学習は主に二段階で行われます。

• 教師あり学習：文脈と回答から、対象モデル系列に対応する推論トレースを再生成する生成器を学習します。
• 敵対的学習：トレースがその系列の実際の出力らしいかを判定する批評器を訓練し、生成器を改善します。
• 候補選択：複数のトレースを生成し、批評器によってより真正らしい候補を選びます。

つまり、教師から得られるのは回答であり、推論文そのものは学生側の仕組みが合成します。この点が、非公開の思考連鎖を直接抽出しようとする方法との違いです。

実験結果の読み方

論文は、できるだけ他の条件を揃えた上で五つのベンチマークを評価しました。独立した判定では、TraceForgeのトレースの真正性スコアは平均0.68、実際のトレースは0.66でした。四つの候補から批評器で選ぶと0.82に上がります。ただし、これは「本物らしく見えるか」を示す指標であり、推論の正しさや最終回答の正解率ではありません。

特にコード課題で効果が確認されました。同じ5,000問と同じ教師回答を使った学習で、最終チェックポイントのHumanEval+は3.7ポイント、MBPP+は7.1ポイント改善しました。MBPP+では、学習途中の各チェックポイントでも優位性が維持されたと報告されています。著者らは、学生モデル自身が慣れた系列の文体で書かれた推論の方が、別モデル由来の思考連鎖より学習しやすい可能性を示唆しています。

意義と課題

TraceForgeは、蒸留の焦点を「教師の隠れた思考を入手すること」から「学生が吸収しやすい推論監督を作ること」へ移します。これは、非公開の思考連鎖に依存せず、教師の回答を活用して学習データを拡張する実用的な方向性です。

一方、生成されたトレースが実際の意思決定過程を表しているとは限りません。回答後に作られた説明である可能性もあり、真正性スコアが高くても論理的妥当性は保証されません。今回の結果はコード課題を含む提示されたベンチマークに基づくため、数学、知識問題、長い多段推論で同じ効果が得られるかは今後の検証が必要です。

出典：Hugging Face Daily Papers