同じ能力でも行動が変わる：MCPとCLIの比較研究

導入：言語エージェントにとって、ツールのインターフェースは単なる接続手段ではない。ツールの説明、コマンドの形式、実行後に返されるフィードバックは、モデルが次の行動を決める際に直接参照する情報になる。同じ操作能力をMCPとCLIで提供した場合でも、表現の違いが行動を変えるのか。この問いを、今回の統制研究が検証した。

主なポイント

• 研究チームはMICA（Matched Interface Comparison and Analysis）を提案した。共通の意味的アクション契約からMCP版とCLI版を生成し、デコードされたアクションを同じランタイムに送ることで、実行基盤の違いを抑えている。
• 実験対象は6つのモデルと3つのインタラクティブ環境。実行可能な能力をそろえても、タスク性能とインタラクションコストには明確な差が現れた。
• 差は、単に正しい形式で呼び出せるかどうかにとどまらない。能力の提示方法、アクションの実現方法、環境からのフィードバックが、意味的な行動選択や失敗経路、復旧に影響した。
• 対になった自然な軌跡では、2,004エピソードの94.3%で構造的な分岐が観測された。初期の小さな違いが、その後のインタラクションへ伝播していた。
• さらにDART（Decoupled Action Realization and Targeted Repair）を導入した。検証済みの意味的コミットメントを保持しながら、インターフェース固有の実現だけを修正する手法で、6つの評価設定すべてでスコアを改善し、最大9.0ポイント向上した。MCPではタスクあたり最大27.1kトークンの削減も報告されている。

意義と影響

MICAの重要性は、ツールの能力と、その能力をモデルに見せる方法を分離して評価した点にある。エージェントの失敗は、モデル性能、ツール、実行環境のいずれかに原因があると考えられがちだ。しかしインターフェース自体が意思決定に影響するなら、最終的な成功率だけでは原因を特定できない。意味的な契約とランタイムをそろえる設計は、その影響を測るための明確な実験境界を提供する。

開発者にとっては、プロトコルの選択を接続の容易さだけで判断できないことを示す結果だ。インターフェースは、モデルが行動空間を探索する方法、エラーを解釈する方法、フィードバックを利用する方法を変え得る。評価では、タスクスコアに加えて操作コストと復旧挙動も報告する必要があるだろう。MCPとCLIのどちらが常に優れるという結論ではなく、インターフェースの実現方式そのものが、エージェントに対する介入点だという示唆である。

出典：Hugging Face Daily Papers