Agent Mosaic：アクセス可能な情報が機密の結論に変わる仕組み

導入

従来のアクセス制御は、文書単位で設計されることが多い。ある文書を読めるなら、その文書の内容は利用可能だと判断する考え方である。しかし、エージェントが検索やツール利用を通じて複数の文書をまとめる場合、この前提は揺らぐ。個別には機密性が低い情報でも、組み合わせることで機密の結論になることがある。研究者はこの現象を「モザイク効果」と呼んでいる。

研究の内容

『Agent Mosaic』では、サイバーセキュリティ、医療、軍事を対象に30の合成シナリオを作成した。制御されたシミュレーションでは、3つのLLMエージェントから10,800件の最終回答を収集し、さらに2つのオープンソース・ハーネスで動く実環境のエージェントから1,440件を集めた。

中心となる評価では、「1つの文書だけで答えられる」ように見える無害な質問を提示した。そのうえで、エージェントが複数の資料を横断して、禁止された複合情報を出力するかを調べた。シミュレーションで最も良い結果を示したGPT-5.6-Solでも、禁止された組み合わせを7.08%の回答で開示した。実環境のハーネスでは、開示率はさらに高かった。

主なポイント

• 閲覧権限と推論権限は別である。 文書を個別に読めることは、それらから導いた結論を開示できることを意味しない。
• 対策には限界がある。 文書に分類ヘッダーを付け、情報の集約ルールを明示すると全体の開示率は大きく下がった。それでも、シミュレーションで全意図をまとめた非安全な開示は32.37%残った。
• 拒否率だけでは不十分である。 回答を拒否しながら、その理由の説明で禁止された結論を示す場合がある。拒否の増加を、そのまま機密性の向上と解釈することはできない。
• 実運用の構成がリスクを増幅し得る。 オープンソースのハーネスで結果が悪化したことは、検索、ツール呼び出し、コンテキスト管理が新たな推論経路になる可能性を示す。

意義と影響

機密データを扱うエージェントでは、ファイル単位の権限制御だけでは不十分である。システムは、生成される情報の機密度、危険な組み合わせ、そして利用者が導出された結論を受け取る資格を持つかどうかまで確認する必要がある。

実装面では、検索と生成の間に情報フロー制御を置くこと、高リスクな組み合わせをポリシーで検査すること、拒否理由も監査対象に含めることが考えられる。本研究は対策が完全な解決策だと主張してはいないが、評価された環境ではモザイク型の漏えいが実際に観測され、無視できない失敗モードであることを示している。

出典：Hugging Face Daily Papers