AIペンテストAgentを実環境で評価するための新しい視点

導入

AIペンテストAgentは、攻撃的セキュリティの領域で現実味を帯びつつある。しかし、その能力をどう測るべきかはまだ難しい問題だ。CTFでフラグを取れる、既知の脆弱性を再現できる、あるいはリモートコード実行という明確な目標に到達できるとしても、それが実際の複雑なターゲットで有効に脆弱性を見つけられることを意味するとは限らない。

論文「From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World」は、この評価ギャップに焦点を当てている。著者らは、限定されたタスクの達成ではなく、検証可能な脆弱性をどれだけ発見できたかを中心にAgentを評価するプロトコルを提案している。

主要ポイント

• タスク達成から脆弱性発見へ：評価の中心を、事前に決められたゴールの達成ではなく、実際の脆弱性に対応する発見へ移す。
• 専門家によるground truth：対象システムに存在する脆弱性を専門家が構造化して注釈し、Agentの報告を検証する基盤とする。
• LLMによる意味的マッチング：脆弱性報告は表現が大きく異なるため、単純な文字列一致では不十分だ。そこでLLMを使い、報告と真値の意味的な対応を判定する。
• 曖昧性を考慮した採点：複数の報告が同じ脆弱性を指す場合や、1つの報告が複数の候補と重なる場合がある。プロトコルは二部グラフによる解決などを使い、現実に近い採点を目指す。
• 確率的Agentの反復評価：AI Agentは実行ごとに異なる行動を取ることがあるため、単発の結果ではなく、反復評価と累積的な見方が重要になる。
• 効率指標と縮小スイート：どれだけのコストで脆弱性を見つけたかも重要であり、継続的な実験のために縮小された評価セットの選択も扱われている。

意義と影響

この研究の意義は、AIペンテストAgentが人間の専門家を置き換えると主張する点ではない。むしろ、実用上意味のある能力を測るための評価設計を前進させた点にある。フラグ取得や既知手順の再現だけでは、現実のセキュリティ業務における有用性を十分に説明できない。

実環境では、情報は不完全で、報告は重複し、脆弱性の境界も曖昧になりがちだ。さらに、発見に要する時間やリソースも無視できない。こうした条件を評価に取り込むことで、研究者や開発者はより実用的な改善点を把握しやすくなる。

一方で、LLMによるマッチングには誤判定の可能性があり、ground truthも継続的に保守する必要がある。それでも、AI Agentの評価を制御された小さな課題から実世界に近い条件へ移す方向性は、今後のセキュリティAI研究にとって重要だ。

Source: Hugging Face Daily Papers