AI 系统渗透测试需要从“攻破资源”转向“诱导行为失效”

导语

传统渗透测试的核心问题通常是：攻击者能否利用软件漏洞、错误配置、基础设施缺陷或运维控制薄弱点，获得权限、窃取数据或破坏资源。但在 AI 赋能系统中，系统未必需要被“攻破”，也可能被“带偏”。一篇 arXiv 论文《Rethinking Penetration Testing for AI-Enabled Systems》提出，应重新定义这类系统的渗透测试：从验证资源是否被 compromise，转向验证攻击者是否能诱导 AI 支配的行为违反运营目标。

核心要点

• AI 风险不只发生在基础设施层。 论文指出，攻击者可以影响提示词、检索内容、传感器输入、训练数据、记忆模块、工具调用以及人机交互循环，从而改变系统输出或行动，而不一定需要入侵服务器或拿到系统权限。
• “渗透成功”的判定应围绕目标。 作者将 AI 赋能系统定义为：学习模型会实质性影响运营结果的系统。相应地，AI 赋能渗透是指在明确威胁模型下，可行地诱导 AI 治理或参与的行为，违反一个或多个运营目标。
• 传统渗透测试并未被取代。 论文并不是否认漏洞利用、权限提升和配置审计的重要性，而是认为这些方法不足以覆盖 AI 系统的独特攻击面。提示注入、间接提示注入、数据投毒、传感器操纵、检索污染、工具误用和智能体偏离，都应纳入测试范围。
• 测试流程需要行为证据链。 作者提出的流程包括：识别运营目标，梳理 AI 影响哪些行为，分析对手可施加影响的表面，定义行为失败标准，执行基于场景的测试，并报告从攻击动作到目标违反之间的证据。

意义与影响

这篇论文的价值在于把 AI 安全测试从“模型是否会说错话”或“系统是否有漏洞”推进到更贴近部署场景的问题：AI 的行为是否会让业务、安全或运维目标失效。以论文中的 AI 安全运营中心助手为例，攻击者可能并不需要攻入后台，只要通过受污染的信息或交互路径影响助手判断，就可能让系统在告警处置、优先级排序或工具调用上偏离预期。

对企业而言，这意味着 AI 渗透测试需要同时理解安全工程、模型行为、业务流程和人机协作。测试报告也不能只列漏洞编号，而应说明攻击者如何施加影响、AI 如何改变行为、这种行为为何构成目标违反。随着更多 AI 助手、RAG 系统和智能体进入关键流程，这种“以运营目标为中心”的评估方式，可能会成为 AI 安全落地的重要基础。

来源：arXiv