セキュリティAIエージェント評価は成功率だけでは不十分

導入

セキュリティ分野のAIエージェントは、脆弱性発見、エクスプロイト作成、ペネトレーションテスト、CTF、さらにはSOCでのアラート調査など、より実務に近いタスクで評価されるようになっている。しかし多くの評価は、十分な推論予算を与えたうえで「最終的に解けたか」を重視してきた。

論文「Beyond Success Rate: Cost-Aware Evaluation of Offensive and Defensive Security Agents」は、この見方だけでは不十分だと指摘する。実際のセキュリティ運用では、モデルの推論、ツール呼び出し、ログやテレメトリへの問い合わせ、外部情報による補強のすべてにコストが発生するからだ。

重要なポイント

• 評価軸を成功率から費用対効果へ広げる：従来のベンチマークは、攻撃能力のピーク、特に脆弱性発見やCTF完了率を重視しがちだった。論文は、それだけでは実運用で使えるかどうかを判断できないとする。
• 攻撃と防御の両方を扱う：研究では、攻撃側タスクとして Cybench、防御側タスクとして Splunk BOTS v1 の調査課題を用いている。攻撃チャレンジを解く能力と、SOCでログを追いながらインシデントを調べる能力は同じではない。
• 固定コストでモデルを比較する：単に最高成績を報告するのではなく、一定のコスト水準ごとにモデルを比較している。また、コストを推論支出とツール支出に分けることで、性能向上の理由をより細かく見ている。
• レッドチームとブルーチームではスケーリングが異なる：攻撃型のCTFタスクでは、テスト時の計算量を増やすことで性能が改善しやすい。さらに、拡張されたオープンウェイトモデルが、コスト競争力を保ちながら最前線のプロプライエタリシステムに近づける可能性も示されている。
• 防御側は単純に「もっと考えればよい」わけではない：SOC調査では、推論予算を増やすだけでは同じように伸びない。成功には、ツールの使い方の規律、テレメトリの適切な探索、必要なときだけ情報を追加する判断が大きく関わる。

意義と影響

この研究の意義は、セキュリティAIエージェントをリーダーボードの点数だけで見る危うさを明確にした点にある。現場のセキュリティチームにとって重要なのは、エージェントが最終的に答えに到達できるかだけではない。限られた予算内で、余計な検索やツール呼び出しを抑えながら、安定して有用な調査を進められるかが問われる。

また、オープンウェイトモデルの評価にも実務的な視点を与えている。攻撃型タスクでは、テスト時計算を適切に増やすことで、閉じた最先端システムに近い性能を費用面で競争力を保ちながら実現できる可能性がある。一方で、防御型エージェントには、モデル規模だけでなく、ログ調査の戦略、ツール選択、コスト管理といった能力が必要になる。

つまり本論文は、セキュリティエージェント評価を「成功したか」から「どのコストで、どの運用条件なら役に立つか」へ進める提案だと言える。

出典：Hugging Face Daily Papers