推論モデルの「Wait」は発明ではなく継承だった

導入：目立つ単語が推論の証拠とは限らない

推論モデルの出力では、{wait}のような語が現れた後に、直前の計算や推論を見直すことがある。このため、その語は強化学習、とくに検証可能な報酬を使う学習がモデルに「立ち止まって考え直す」能力を教えた証拠だと解釈されてきた。

論文「Inherited, Not Invented」は、この見方を分解する。研究者が問うたのは、{wait}が強化学習によって新しく発明されたのか、それとも訓練データや途中の微調整から受け継がれた表現なのか、という点だ。分析では、オープンモデルの訓練履歴に沿ってサンプル出力を調べ、頻度だけでなく、出現位置、表記の形式、実際の使い方を測定した。さらに、問題に意図的な誤りを入れ、マーカーが本当の見直しにつながるかを確認している。

主な発見

• 強化学習がマーカーを一般的に生み出すわけではない。 元のモデルが{wait}を使わない場合、ゼロからの強化学習によって MATH-500 の精度が大きく向上しても、マーカーはほぼ現れない。
• 主な導入経路は訓練データである。 OLMo-3では中期訓練の段階でマーカーが現れ、推論トレースによる微調整でも、元のモデルにないマーカーが多くのモデルへ導入された。
• 学習レシピによって挙動が異なる。 もともとマーカーを使うモデルでは、OLMo-3とMiMoの公開RL-Zeroレシピが出現頻度を増やした。一方、同じベースに対するKLなしGRPOでは同じ現象は見られなかった。
• 形式と機能は一致しない。 OLMo-3のレシピはマーカーの表面的な形を崩しながら、より敏感だが許容範囲の広い警告として機能させる。教師あり微調整の後に行う強化学習では変化が小さく、研究者のGRPOレシピでは微調整で埋め込まれたマーカーが消えることもあった。
• 自動評価にも注意が必要だ。 マーカーの頻度だけでは、強化学習が推論や修正能力を生んだとは言えない。LLMを評価者として使うと、修正行動について人手評価と逆の傾向を示す可能性もある。

意義と影響

この研究は、推論モデルの「思考の痕跡」を読む際の単純化に警鐘を鳴らす。特殊な語は、学習コーパスの慣習、教師あり微調整のテンプレート、あるいは最適化手法によって強調された出力パターンかもしれない。したがって、モデル内部の推論を直接表すとは限らない。

研究者は、精度が上がったか、マーカーが出たか、適切な位置で使われたか、誤りを実際に修正したかを分けて測る必要がある。ユーザーにとっても、{wait}は見える形式上の特徴にすぎず、回答の正確さや深い推論を保証するものではない。スタイル上の手掛かりではなく、誤りを注入した行動テストと複数の評価方法を組み合わせることが重要になる。

出典：Hugging Face Daily Papers