CyberArena：让AI代理在实时攻防中真正较量

导语

如果一个AI代理能够攻破固定靶机，这是否意味着它具备真实网络攻防能力？CyberArena给出的答案是：未必。传统安全基准通常让代理独自面对静态目标，任务一旦被破解，评测就基本结束；但真实攻防更像一场持续变化的博弈，攻击者在寻找漏洞，防守者也在监控、修补和反制。

从“解题”到“对抗”

CyberArena设计了一个动态、对称的竞技场。两名代理遵循相同规则同时参赛：一方面尝试入侵对手运行的服务，夺取经过环境验证的旗标；另一方面修复自己的服务，避免对手得分。比赛由多轮组成，服务状态会随着双方行动不断变化，因此代理不仅要判断“能否利用漏洞”，还要权衡发现、利用、修补和响应的先后顺序。

项目团队使用40个挑战开展评测，其中14个改编自经典CTF任务，26个来自开源软件中的现实漏洞；12个前沿大模型共完成466场排名赛。结果显示，GPT-5.6 Sol以79%的成绩位居第一，Claude Opus 5和GLM-5.3分别为74%和69%。防守维度上，前两者在83%和81%的回合中保住自身旗标，其余模型的对应区间为43%至61%。

动态防守改变“解决”定义

更值得注意的是，静态评测可能掩盖模型差异。三个前沿模型在无防守服务上都能解决同样的30个挑战，因此单代理测试难以区分它们。但当实时防守者加入后，到第三回合，它们的夺旗率降至35%至52%，表现开始明显分化。这说明真正困难的并非一次性找到漏洞，而是在对手修补、服务变化和时间压力下持续保持有效行动。

为了延长基准的使用寿命，CyberArena还构建了自动化代理流程，用于持续生成、审查和验证新的环境；同时提出动力学模型，将比赛过程映射为涵盖进攻、防守及领域专项能力的多维统一分数。项目引擎、挑战和比赛回放均已开源。

意义与局限

CyberArena的价值在于把安全代理评测从“能不能攻破”推进到“能否在攻防循环中稳定行动”。它更接近真实运营中的对抗性，也能检验速度、精度、适应性和攻防协同能力。对模型开发者而言，排名不再只是一个总分，而是暴露进攻强、防守弱，或短期有效、持续作战能力不足等具体短板。

不过，素材目前主要披露了基准设计和总体结果，尚不足以判断不同模型采用了哪些工具、策略或失败模式。后续还需要结合公开回放、更多环境和跨基准实验，确认这些分数能否稳定预测现实安全任务表现。

来源：Hugging Face Daily Papers