AI 渗透测试 Agent 该如何从靶场走向真实世界评测？

导语

AI 渗透测试 Agent 正从实验室演示走向更严肃的安全场景。但一个关键问题仍未解决：我们到底该如何判断一个 Agent 真的“会做渗透测试”？如果评测只要求它完成 CTF、复现某个漏洞、拿到远程代码执行，或模仿专家轨迹，那么分数很高也未必意味着它能在真实系统中发现有价值的问题。

论文《From Controlled to the Wild: Evaluation of Pentesting Agents for the Real-World》正是围绕这一缺口展开。作者认为，当前基准更擅长衡量封闭任务能力，却不足以刻画真实渗透测试中的复杂目标、多攻击面、多漏洞类型，以及开放式探索和策略取舍。

核心要点

• 评测目标从“完成任务”转向“发现经验证漏洞”：论文主张，不应只看 Agent 是否达成某个预设终点，而应统计其报告的漏洞是否能与专家维护的真实漏洞集合相匹配。
• 引入专家标注的 ground truth：评测依赖结构化真值，用于判断 Agent 的发现是否确实对应目标中的漏洞，而不是只看输出文本是否看起来合理。
• 使用 LLM 辅助语义匹配：真实漏洞报告往往表述不一，完全依赖字符串匹配会过于僵硬。协议用 LLM 帮助理解 Agent 报告与真值之间的语义关系。
• 处理真实评测中的歧义：同一个漏洞可能被不同方式描述，多个报告也可能指向同一问题。作者采用二分图解析等方式，让评分更贴近实际安全审计中的归并过程。
• 考虑随机 Agent 的波动：许多 AI Agent 具有随机性，单次运行结果并不稳定。协议强调重复评估和累积评估，以观察能力分布而非一次性成绩。
• 加入效率指标与缩减测试套件：真实使用中，发现漏洞的成本同样重要。论文还讨论了效率度量，以及如何选择较小但可持续运行的评测集合。

意义与影响

这项工作的价值不在于宣称某个渗透测试 Agent 已经达到人类专家水平，而在于把评测问题向前推进了一步：从“在玩具任务里能不能拿 flag”，转向“在足够复杂的目标中能否稳定发现可验证漏洞”。这对于安全团队、Agent 开发者和研究者都更有参考意义。

同时，论文也提醒我们，AI 安全工具的能力评估不能只看炫目的攻击演示。真实环境中，漏洞发现存在不完整信息、模糊边界、重复报告、错误归因和成本约束。一个更贴近实战的评测协议，有助于减少对单次 demo 的过度解读，也能帮助开发者针对真正有用的能力进行优化。

不过，这类评测仍需谨慎使用。LLM 语义匹配本身可能引入误判，ground truth 也需要持续维护。随着 AI Agent 能力增强，评测体系必须同步更新，才能避免再次变成被模型“刷分”的封闭任务。

来源：Hugging Face Daily Papers