SecRespond：侵害後のインシデント対応で AI エージェントを評価する新ベンチマーク

導入

大規模言語モデルを使った AI エージェントは、セキュリティ運用の現場に近づきつつあります。そこでは、単に知識問題に答えるだけでなく、ホスト上の痕跡を読み、ディスクの内容を調べ、コマンドラインを使うことも想定されます。では、すでに侵害されたホストを前にしたとき、AI エージェントは本当にインシデント対応担当者のように調査し、侵入の証拠を整理し、修復計画まで提示できるのでしょうか。

Alibaba-NLP などの研究者が提案した SecRespond は、この問いに向き合うためのベンチマークです。従来の多くのサイバーセキュリティ評価は、攻撃前のクリーンで理想化された環境に重点を置いていました。これに対し SecRespond は、侵害後の対応プロセスを評価します。エージェントには、侵害済みホストのフォレンジック用ディスクスナップショット、ホスト型セキュリティ製品によるアラート、脆弱性スキャン、ベースラインチェックが与えられます。そのうえで、侵入、ベースラインリスク、脆弱性リスクに関するレポートと修復計画を作成しなければなりません。

主要ポイント

• 評価の焦点を侵害後へ移した：SecRespond は、攻撃が発生する前ではなく、すでに被害が起きた後の対応能力を測ります。
• 入力は実運用に近い：短い問題文だけでなく、ディスク証拠、アラート、スキャン結果、設定チェックを組み合わせて判断する必要があります。
• 出力は調査から修復までを含む：不審な事象を列挙するだけでなく、リスクを分類し、対応計画を作ることが求められます。
• 多様な環境を含む：10 個の再現可能なサイバーレンジが用意され、4 種類の侵入口、21 種類の MITRE ATT&CK 技術、5 種類の OS をカバーします。
• 23 の前線的 LLM を評価：OpenCode agent harness 上で、現在の主要なモデル群が試されました。

結果から見える課題

論文の結果は、現在のエージェントが「アラートに現れた問題」を追うことには比較的強い一方で、能動的なフォレンジック調査には弱さを残していることを示しています。セキュリティ製品が明示した手がかりがあれば、モデルはその線に沿って分析できます。しかし、アラートに表れない静かな侵入をディスクから見つけ出す段階になると、性能は大きく落ちます。

さらに、修復計画にも課題があります。現実のインシデント対応では、「更新する」「削除する」といった一般的な助言だけでは不十分です。証拠と対応が対応しており、抜け漏れがなく、確認可能である必要があります。論文によれば、評価されたどのモデルも、いずれか一つのレンジで完全な検知と完全な修復を達成することはできませんでした。

意義と影響

SecRespond の意義は、AI セキュリティ評価をより実務的なワークフローへ近づけた点にあります。セキュリティチームにとっては、アラートを要約できる補助ツールと、侵害済みシステムを能動的に調査できるエージェントを区別する材料になります。

モデル開発者にとっても、課題は明確です。必要なのは、単なるセキュリティ用語の知識ではなく、証拠探索、仮説検証、ツール利用、修復案の検証を一貫して行う能力です。コードとデータセットが公開されているため、SecRespond は今後、セキュリティ AI エージェントの実用性を測る重要な参照点になり得ます。

出典：Hugging Face Daily Papers