間接プロンプトインジェクションを「テスト時探索」として捉え直す

導入

間接プロンプトインジェクションは、悪意ある指示がエージェントをだませるかどうかだけの問題として語られがちです。しかし、ウェブページや文書などの外部情報を読み、ツールを呼び出して作業するエージェントでは、結果は一つの文面だけで決まりません。エージェントが置かれた環境、ユーザーのタスク、利用可能なツール、そして攻撃者が試行を重ねられるかどうかが、実際の攻撃面を変えます。

arXiv論文「Rethinking Indirect Prompt Injection as a Test-Time Search Problem」は、間接プロンプトインジェクションを、テスト時に攻撃面を探索する問題として捉え直します。その攻撃面は、環境、ユーザータスク、攻撃者の注入タスクによって決まります。つまり、脆弱性を被害モデルに固定された性質とみなすのではなく、攻撃者とシステムの相互作用として評価する考え方です。

主なポイント

• 攻撃面はタスク依存である。 どの情報源、ツール、対話経路が利用可能になるかは、実行されるタスクによって異なります。同じエージェントでも、環境が変われば実際のリスクも変わり得ます。
• 攻撃には環境偵察が必要になる。 研究者は専用の探索ハーネスを持つエージェント型攻撃者を構築しました。この攻撃者は環境を調べ、攻撃戦略を整理し、被害エージェントの反応を見ながら次の試行を調整します。
• テスト時計算の増加が発見能力を高める。 複数の異なるタスクで、攻撃者により多くの計算資源を与えると、脆弱性の発見と悪用が改善しました。攻撃成功率だけでなく、どれほどの探索予算を使ったかも評価結果の一部になります。
• 戦略管理が探索の拡張性を左右する。 消融実験では、戦略を明示的に管理することで、同じ試行の繰り返しを避けられました。より大きな予算でも成果を維持するには、無秩序な試行より構造化された探索が重要です。

意義と影響

この研究が示す重要な点は、エージェントの安全性を単純な「脆弱」または「堅牢」というラベルで表しにくいことです。どの環境で、どのタスクを対象に、どのような攻撃手順と計算予算で試験したのかによって、観測される攻撃成功率は変わります。

今後の評価では、被害エージェントのモデルや防御機構だけでなく、攻撃側の探索手続き、テスト時計算、環境条件、注入タスクも記録する必要があります。こうした情報があれば、防御手法の比較はより再現可能で、解釈しやすくなります。

防御側にとっては、単発の悪意あるプロンプトを検査するだけでは不十分だという示唆があります。適応的な攻撃者は、外部コンテンツを観察し、複数の仮説を試し、エージェントの反応を次の探索に利用できます。そのため、データと指示の境界、不要なツール権限、フィードバックによって操作範囲が広がる可能性を継続的に確認することが重要です。

論文の要旨は、完全な緩和策を提示しているわけではありません。しかし、ツールを使うエージェントに対して、攻撃面そのものを適応的に探索する能力が、独立した安全上のリスクになることを明確にしています。間接プロンプトインジェクションは、単一の悪意ある文字列ではなく、複雑な環境で続く探索競争として理解する必要があります。

arXiv