AgentKernel：AIエージェントのための回避不能な安全カーネル

導入

AIエージェントが外部のウェブページを読み、異なる信頼レベルの情報を組み合わせ、中間的な判断を長期メモリに保存し、権限のあるツールを呼び出すようになると、安全性の問題は単なる有害な文章の生成を超えます。ウェブページには間接的なプロンプトインジェクションが含まれ、検証されていない記憶が後日の判断を左右し、意味レベルの誤りがAPI経由で現実の操作につながる可能性があります。AgentKernelは、こうした問題に対して、アプリケーションの外付けミドルウェアではなくOSに近い安全基盤が必要だと主張します。

主なポイント

• 必須の強制境界を設ける。 既存のガバナンス機能は、監視するエージェントと同じプロセス信頼境界に置かれることがあります。AgentKernelは、アイデンティティ、入力、メモリ、実行に関する制御をエージェントのライフサイクルに組み込み、回避しにくい経路に置こうとします。
• 4つの柱でライフサイクルを覆う。 Identityはエージェントと委譲関係を管理します。Perceptionは外部入力とその信頼度を扱います。Cognitionは中間的な信念や長期メモリの生成・保存・取得・伝播を管理します。Executionは権限付きツールの利用を制限します。
• OSの原則を意味レベルへ拡張する。 アイデンティティ、権限、隔離、情報フロー制御といった従来のOSセキュリティを、プロンプトインジェクション、委譲の悪用、メモリ汚染、ツールの誤用に対応させます。
• 入力とメモリを段階的に扱う。 単一のフィルターに依存せず、情報の出所やリスクに応じて入力を処理します。また、メモリの情報フローを制御し、信頼度の低い情報が高信頼の知識へ無制限に入り込むことを抑えながら、検索の有用性を保つ考えです。
• 意味上の判断を実行側で拘束する。 エージェントの高レベルな判断を、エージェント自身の外側にある強制ルールへ接続できれば、実行境界を維持したまま、より広いツール権限を扱える可能性があります。

意義と残された課題

この提案の重要性は、エージェントの安全機能をどこに置くかを問い直した点にあります。安全性を、開発者が付け忘れたり設定を誤ったりできる追加機能ではなく、ランタイムの構造的な能力として設計しようとしています。企業向けアシスタント、複数エージェントの協調、組織をまたぐ委譲では、主体と権限の境界が複雑になるため、この発想は有用です。

一方、提示資料が示すのは主にアーキテクチャ上の主張、比較、セキュリティ分析です。公開実装、ベンチマーク数値、実運用の結果が示されたわけではありません。そのため、現段階では検証済みの製品というより設計指針として読むべきです。今後は、意味的なリスクをどのように安定したカーネルポリシーへ変換するか、ポリシーが衝突した際に誰が判断するか、強制制御が遅延や使いやすさに与えるコストを明らかにする必要があります。

出典：Hugging Face Daily Papers