PIMiner：エージェントでプロンプトインジェクションを自動検査

導入

LLMエージェントがツールを呼び出し、外部文書やウェブページを読み取り、ユーザーの代わりにタスクを実行するようになるにつれ、プロンプトインジェクションは単なる会話上の問題ではなく、実運用上のセキュリティ課題になっている。ペンシルベニア州立大学の論文「Agent Against Agent: An Agentic System for Automatic Prompt Injection Red Teaming」は、このリスクを自動的に検査するためのシステム PIMiner を提案している。

主要ポイント

• 対象となる脅威：プロンプトインジェクションは、外部コンテンツに埋め込まれた悪意ある指示によって、エージェントを本来のユーザー指示から逸脱させる可能性がある。
• 従来手法の課題：論文によれば、既存の強力なレッドチーミング手法の多くは強化学習に基づく攻撃モデルを利用している。しかし、そのようなモデルは新しいターゲット LLM に対して十分に汎化しない場合がある。
• PIMiner の設計：訓練段階で、PIMiner は複数の「データセット—ターゲットモデル」の組み合わせを順に経験し、ゼロから戦略ライブラリを構築する。
• 未見モデルへの転移：テスト時には、学習済みの戦略ライブラリを追加訓練なしで新しいターゲット LLM に適用できる。
• 少ないクエリ数：各テストサンプルに対して、ターゲットエージェントへの問い合わせは少数で済むとされ、論文では例として 10 回が示されている。
• 実験結果：IPIArena では、Gemini-2.5-Pro に対して 76.2%、GPT-5.1 に対して 61.9%、Claude-Sonnet-4.5 に対して 42.9% の ASR を達成した。AgentDojo では、それぞれ 86.7%、53.3%、40.0% と報告されている。

意義と影響

PIMiner の重要性は、単に高い攻撃成功率を示したことだけではない。レッドチーミングを、特定の攻撃モデルを一度訓練する作業ではなく、再利用可能な戦略を蓄積し、新しいモデルへ転移するプロセスとして捉え直している点にある。

これは、エージェントを実サービスに組み込む企業にとって重要だ。モデルの変更、ツール連携の追加、ワークフローの拡張は、それぞれ新しい攻撃面を生み出す可能性がある。PIMiner のような仕組みは、導入前の安全性評価や失敗事例の収集、防御データの拡充に役立つ可能性がある。

一方で、提示された素材から分かる範囲では、実環境での誤検出、評価範囲、防御システムとの統合方法までは明らかではない。それでも本研究は、LLMエージェントの安全性評価がより自動化され、転移性を重視する方向へ進んでいることを示している。

出典：Hugging Face Daily Papers