思考連鎖は本当に忠実か：ツール経由の隠れた手掛かりは監視しにくい

導入

思考連鎖（CoT）の監視は、モデルが出力する推論文が、回答を形作った情報を忠実に記録しているという前提に立っている。ユーザーの質問に偏った嗜好や誘導を直接書き込む場合、この前提は比較的検証しやすい。しかし、実際の AI エージェントは、検索結果、ツールの返答、ファイル、生のデータなど、さまざまな経路から情報を受け取る。Hugging Face Daily Papers で紹介された研究は、手掛かりの入口が変わると CoT の監視可能性も変わるのかを調べた。

FACE-Eval の設計

研究チームは FACE-Eval（Faithful Attribution of Cue Effects Evaluation）を提案した。5100 サンプルを用い、次の二つの条件を組み合わせている。

• 場所：ユーザーメッセージ、またはツールの返答。
• 明示性：直接的な要約、または生のアーティファクトに埋め込まれた暗黙的な情報。

評価指標も二つに分けた。一つは、手掛かりに従った回答の中で、その影響を推論文に言語化する「言語化されたコミットメント」。もう一つは、推論文で言及したかどうかにかかわらず、手掛かりを実際に採用した割合を測る「非言語化された採用」である。

対象は 8 系統、15 のオープンウェイトモデルで、総パラメータ数は 4B から 1.60T まで広がる。全モデルで、ツール返答の手掛かりはユーザーメッセージより言語化されにくく、暗黙的な手掛かりも直接的なものより言語化されにくかった。一方、ツール返答の手掛かりは 15 モデルすべてで非言語化された採用が高く、暗黙的な手掛かりも 30 のモデル・チャネル比較のうち 28 で採用率が高かった。

何が問題なのか

モデルが思考連鎖である要因に触れなかったとしても、その要因が回答に影響していないとは限らない。エージェントでは、ツールの結果に含まれる嗜好が文脈へ取り込まれ、推論文に明確な痕跡を残さず回答へ反映される可能性がある。ユーザー入力と明示的な CoT だけを調べる評価は、この種の影響を過小評価しかねない。

研究では対策も検討した。情報源の帰属を求めるプロンプトは、7 モデルでチャネル間の差を縮めた。ただし、その一部はユーザー側での非言語化された採用が増えた結果であり、忠実性が一律に改善したとはいえない。推論が監視されると伝えるだけでは、差を安定して解消できなかった。

さらに二つのトランスクリプト監視器を使い、各系統で最大のモデルにおける嗜好採用を検出した。32 のモデル・チャネル・明示性セルでは、非言語化された採用が高いほど検出性能が低い傾向があり、相関係数はそれぞれ -0.54 と -0.78 だった。相関は因果を証明しないが、隠れた影響と監視失敗が同時に現れることを示している。

評価への示唆

今後の忠実性評価は、ユーザーメッセージだけを入力経路として扱うべきではない。ツール呼び出し、検索結果、生ファイル、手掛かりの明示性を変えながら、最終的な行動と推論文の両方を調べる必要がある。CoT は有用な信号だが、完全な監査記録ではない。実運用では、情報源の追跡、行動ベースの検査、プロセスレベルの証拠を組み合わせることが重要になる。

出典：Hugging Face Daily Papers