思考連鎖を左右するのは、最初の数トークンかもしれない

導入

思考連鎖（CoT）の監視は、能力が高まる AI エージェントを評価する手法として注目されている。モデルがどのような推論過程を言語化したかを確認できれば、目標に従っているか、望ましくない方針を取っていないかを調べられるからだ。ただし、この方法には、モデルが指示に応じて自分の推論トレースを変えられるという前提がある。Hugh Van Deventer、Dmitrii Troitskii、Laura Ruis の研究は、その制御性が推論の最初から制約されている可能性を示した。

研究のポイント

論文は、思考タグの直後に生成される数トークンで「エントロピー崩壊」が起きることと、CoT の制御しにくさを関連付けている。モデルは推論の書き出しで、少数の頻出表現に強く偏る。そのため、後から与えられた指示に沿って推論内容や形式を変えることが難しくなる場合がある。

研究者は、再学習を必要としない2種類の推論時介入を試した。

• プレフィリング：生成開始前に、最初のトークンをあらかじめ与える。わずか1トークンでも制御性が大きく改善する場合があった。
• 頻出する書き出しの禁止：よく使われる開始トークンを制限し、文脈内学習の例と組み合わせる。評価したモデル全体では、平均的な指示遵守が34〜41ポイント向上した。

ただし、改善はタスクによって異なる。情報を追加・変換する課題や、文体を変える課題では効果が比較的安定していた。一方、特定の情報を避けたり削除したりする「抑制制御」は、モデルごとの反応がばらついた。追加・文体制御のグループ内では性能が正に相関しやすい一方、抑制制御との相関は多くの場合で負だったという。

意義と限界

この結果は、CoT の評価で「指定された書き出しを開始できないこと」と「推論内容そのものを変更できないこと」を分ける必要性を示している。両者を混同すると、モデルの一般的な制御能力を過小評価、または誤って評価する可能性がある。

さらに、制御性と監視可能性の関係も評価方法に依存する。情報の追加や文体制御は監視可能性と正に結び付くことが多いが、抑制制御では負の関係が現れる場合がある。安全研究にとって、冒頭トークンは単なる書式ではなく、監視実験の実用的な介入点になり得る。ただし、この研究が示すのは特定タスクでの改善であり、あらゆる思考連鎖を安定して制御できることを意味しない。今後は、追加、文体、抑制を分けて報告する評価設計が求められる。

出典：arXiv