Bounded Agents：マルチエージェントの委任権限を制御するAPC

導入

大規模言語モデルを利用したエージェントは、ユーザーに代わってクラウドサービスへアクセスし、ツールを呼び出し、さらに別のエージェントへ仕事を委任できます。この能力が広がるほど、問題はモデルがプロンプトインジェクションを見抜けるかどうかだけではなくなります。個々には許可された操作を組み合わせることで、データ流出やリソース破壊など、元の委任内容を超える結果を生み出せるからです。「Bounded Agents」は、この課題を認可アーキテクチャの問題として扱います。

主なポイント

• セッション全体を踏まえた認可。 一般的な構成では、開始時に権限を設定し、各要求を独立に判定します。APCは実行済みの操作、現在の権限範囲、委任に関わる主体をセッション状態として保持します。
• 委任ごとに権限を縮小。 子エージェントが親の権限をそのまま受け取ることはありません。APCは委任先へ渡す範囲と予算を制限し、複数ホップを経ることで権限が拡大することを防ぎます。
• 操作の組み合わせを検査。 新しいツール呼び出しだけを見るのではなく、以前の行動との組み合わせが禁止された結果を生まないか確認します。
• モデルの外側で強制。 モデルは行動案を提示できますが、実行を許可するかどうかは外部の認可層が決定します。そのため、モデルが悪意ある指示の影響を受けても、最終的な権限がなければ行動は成立しません。
• 形式的性質を提示。 論文はBlast Radius MonotonicityとComposition Soundnessを示します。ただし後者は、禁止される組み合わせを完全に列挙した制限集合と、直列化された受付処理を前提とします。

評価結果

評価対象は3,154件で、InjecAgent、AgentDojo、Agent Security Benchを含みます。AgentDojoの4領域では、報告されたデータ流出率が75〜100%から0%へ、破壊行為が38.6%から4.0%へ、操作行為が90.5%から12.1%へ低下しました。InjecAgentのデータ窃取544件と、同評価で扱われたAgent Security Benchの破壊的ケースはすべて阻止されたと報告されています。2〜8ホップの委任チェーンは99/99件を検証し、認可レイテンシーは99パーセンタイルで0.24ミリ秒でした。

意義と限界

APCは、モデルが計画を作り、外部の制御層が権限の範囲を判定するという役割分担を明確にします。ツール利用、クラウド自動化、エージェント間の呼び出しでは、権限がどの主体から受け継がれ、どこで狭められたかを記録できる点も監査に役立ちます。

一方、仕組みを導入するだけで全ての攻撃が解消されるわけではありません。危険な組み合わせを制限集合に含めていなければ、Composition Soundnessの保証は及びません。また、要求の直列化も前提です。実運用では、モデルの推論能力だけでなく、委任範囲、予算、行動履歴、禁止組み合わせを明示的なセキュリティポリシーとして設計する必要があります。

出典：Hugging Face Daily Papers