数個の冒頭トークンが基盤モデルの推論を引き出す理由

導入

大規模言語モデルの推論能力は、一般にパラメータ規模や思考過程を促すプロンプト、強化学習によって説明される。しかしMITの研究チームによる今回の論文は、より細かな要因に注目している。モデルが推論らしい生成経路に入るかどうかは、回答の冒頭に現れる数個のトークンに左右されることがあるという。

研究では、こうしたトークンを token cue（トークンキュー） と呼ぶ。これは必ずしも意味のある命令ではない。訓練データの中で、特定の書き出しが詳細な導出、コードの説明、整理された回答と頻繁に共起すると、モデルはその書き出しを後続の行動と結び付けて学習する。

主な発見

• 冒頭を固定すると性能が大きく変わる。 MATH-500では、Olmo-3-7Bに「.\n\nOkay」で始めさせるとpass@1精度が42%から78%へ上昇した。Qwen3-14Bでは「Alright,」により72%から87%へ上がった。基盤モデルとRLモデルの差が、すべて新しい推論能力によるとは限らないことを示す結果だ。
• 強化学習は有効なキューを選びやすくする。 RLは回答の質だけでなく、推論と結び付いた冒頭を出す確率も変える。逆に、その冒頭をあらかじめ固定すれば、基盤モデルでもRLによる向上のかなりの部分を取り戻せる。
• 効果の源は訓練データにある。 因果的なデータ介入により、「chicken」のような普通の単語を有効な推論キューに変えたり、既存のキューの効果を取り除いたりできた。重要なのは単語の本来の意味ではなく、文書の種類や後続テキストとの学習上の関連である。
• 奇妙な指示も学習によって機能する。 データを編集すると、「Think duck duck goose」が「Think step by step」と同程度に推論を誘発する場合がある。よく知られたプロンプトの効果も、言葉の論理性だけでなく訓練分布に支えられている可能性がある。
• 安全行動も冒頭に反応する。 キューが変わると、拒否や要求への応答遵守の傾向も変化する。これらの違いは訓練データの文書タイプと対応しており、トークンキューは安全性評価にも関わる。

意義と影響

この研究は、基盤モデルと推論モデルの差を考える新しい視点を与える。基盤モデルが長い問題解決の軌跡を生成する能力をすでに持っていても、通常の生成ではその経路に入らないことがある。強化学習の役割の一つは、能力をすべて新たに作ることではなく、望ましい経路へ到達しやすくすることなのかもしれない。

モデル開発では、通常の出力だけでなく、さまざまな応答プレフィックスを使った比較が必要になる。プロンプト設計にとっても、有効な冒頭は低コストの改善手段になり得るが、その効果を堅牢な理解と取り違えてはならない。タスクやモデルによって再現性が変わる可能性もある。

安全性の面では、意味の薄い小さなトークンが拒否や遵守を変えるなら、評価時にこうした経路を意識的に調べる必要がある。今後の訓練では、モデルに何を覚えさせるかだけでなく、どの文章パターンが推論、拒否、実行を起動するかも管理対象になりそうだ。

出典：Hugging Face Daily Papers