LLMエージェントに持続的な人間の制御を与えるSAI

導入

LLMエージェントは、タスクの分解、ツールの実行、複数エージェントの調整まで担うようになっている。その一方で、人間の操作者が途中で修正を加える方法は、依然として会話に自然言語を追加するだけであることが多い。自由形式の指示は意味が曖昧になりやすく、計画や観測結果がコンテキストに積み重なると、以前の指示が相対的に弱まる可能性もある。arXivで公開された研究は、この問題をプロンプトの工夫だけでなく、プロトコル設計の問題として扱うStructured Authority Injection（SAI）を提案した。

SAIの主な仕組み

• 自由文から型付き上書きへ。 操作者の修正を、スキーマ検証済みのModel Context Protocol（MCP）ツール呼び出しとして送る。モデルが文章の意図を推測する余地を減らし、介入の形式を明確にする考え方だ。
• 3種類の上書き。 Constraint、Priority、Strategyを定義する。行動上の制約、タスクの優先順位、実行方針の変更を区別し、それぞれに異なる持続性の意味を与える。
• 明示的な権威の順位。 権威を持つ指示を順位付けして管理し、LLMへの各プロンプトの先頭に追加する。さらに、優先順位を明示し、計画プロセス自体からこの権威チャネルを直接変更できないようにする。
• 再学習を前提にしない。 モデルの微調整や重みへのアクセスは必要としない。対象はMCPツール呼び出しに対応するinstruction-tuned LLMであり、中心となるのはエージェントのプロトコルとコンテキスト管理である。

評価結果と限界

研究では、エージェントの失敗モードを対象とした8つのシナリオで、9種類のLLMを評価した。報告された結果では、操作者の指示が曖昧に解釈されるケースが減り、計画を繰り返す中での権威の減衰も抑えられた。また、強力なモデルの一部では、モデルとシナリオの組み合わせによってプロンプトのオーバーヘッドが最大38%低下した。ただし、効果にはモデル間で大きな差があり、どの構成でも同じ改善が得られるわけではない。

意義と今後の課題

SAIの重要性は、人間の監督を単なる追加プロンプトではなく、通信と権限管理の仕組みとして明示する点にある。エージェントが現在作成している計画と、操作者が継続的に守らせたい条件を分離できれば、監督ルールをより明確に扱い、監査しやすくなる可能性がある。

一方で、構造化されたメッセージだけでモデルが完全に制御可能になるわけではない。実運用では、上書きの定義、指示同士の衝突、注入されたコンテキストへの追従状況を検証する必要がある。モデルごとの差も大きいため、対象となる業務での評価は欠かせない。SAIは万能な保証というより、持続的な人間の制御を設計するための一般的なパターンと見るのが適切だ。

出典：arXiv