CyberArena、AIエージェントをリアルタイム攻防で評価

導入

固定されたサーバーを攻略できるAIエージェントは、セキュリティ課題の解答能力を示している。しかし、それだけで現実のサイバー作戦に対応できるとは限らない。多くの既存ベンチマークは、エージェントを静的な標的に単独で向き合わせる。現実の攻防では、攻撃者が脆弱性を探す一方で、防御者が監視し、修正し、反撃するため、状況は常に変化する。

対戦として設計された評価

CyberArenaでは、2つのエージェントが同じルールの隔離環境で対戦する。各エージェントは相手のサービスを攻撃して環境に検証されたフラグを奪うと同時に、自分のサービスを修正して相手からの奪取を防ぐ。試合は複数ラウンドで進み、双方の行動に応じてサービスの状態も変わる。そのため、単に一度エクスプロイトを成功させるだけでは足りず、探索、攻撃、修正、対応の順序を判断し続けなければならない。

評価対象は40課題で、14課題は古典的なCTFからの適応、26課題はオープンソースソフトウェアの実在脆弱性をもとにしている。12の最先端LLMエージェントが466試合を行い、GPT-5.6 Solが79%で首位、Claude Opus 5が74%、GLM-5.3が69%で続いた。防御面でも上位2モデルは、それぞれ83%と81%のラウンドで自分のフラグを維持した。その他のモデルは43〜61%だった。

ライブ防御が「解決」の意味を変える

特に重要なのは、静的評価ではモデル差が隠れる可能性である。防御者がいないサービスでは、3つの最先端モデルが同じ30課題を解決した。しかしライブ防御者を加えると、3ラウンド目までに捕獲率は35〜52%へ低下し、モデル間の差が現れた。実運用で問われるのは、脆弱性を一度見つけることだけではなく、相手が修正し、環境が変化する中でも有効な行動を続けることだ。

ベンチマークの早期飽和を避けるため、CyberArenaは新しい環境を自動生成し、審査し、検証するエージェント型パイプラインも備える。また、試合の推移を攻撃、防御、分野固有の能力を含む統一的な多次元スコアへ変換する動的モデルを提案する。エンジン、課題、試合リプレイはオープンソースで公開されている。

意義と残る論点

CyberArenaは評価の問いを「侵入できるか」から「適応的な攻防の循環で有効に動き続けられるか」へ広げた。これにより、速度、精度、持続性、攻防のバランスを同じ場で観察できる。一方、公開素材だけでは、各結果を生んだツールや戦略、現実の運用性能との相関までは判断できない。今後はリプレイや追加環境、他ベンチマークとの比較が必要になる。

出典：Hugging Face Daily Papers