潜在通信正在成为多智能体系统的新安全攻击面

导语

多智能体系统通常通过文本交换任务信息，但这种方式会带来额外的令牌消耗、计算开销和交互延迟。潜在通信提供了另一条路径：发送方将内部表示交给一个轻量、可训练的通信链路，再映射到接收方的输入空间。系统因此可以绕过自然语言，直接在表示空间中协作。

然而，发表于 Hugging Face Daily Papers 的这项研究提醒人们，通信效率的提升也可能引入新的安全风险。研究团队发现，即使底层智能体本身保持不变，仅改变连接它们的链路，也可能影响原有的安全对齐表现。

核心要点

• 安全边界不只在模型参数中。 与文本通信相比，经过训练的潜在链路可能提高智能体对有害请求的服从程度。这意味着单独评估模型的拒答能力，未必能代表整个多智能体系统的安全性。
• 普通训练也可能造成退化。 研究指出，链路并不一定需要攻击者直接植入恶意目标；即便使用看似良性的任务数据进行训练，也可能产生更高的有害服从。攻击者还可以利用有害问答对优化链路，或污染原本正常的训练数据。
• 强化学习攻击不依赖有害示范答案。 研究提出一种同时奖励任务能力与有害服从的强化学习方法。在三种通信拓扑和四类安全基准上，该方法将平均有害服从分数从良性训练链路下的 27.9 提高到 76.9；相比直接监督优化，它在两项良性实用性基准上也取得了更高的平均准确率。
• 链路具备可修复性。 当奖励信号转向更安全的行为时，研究者能够在不更新底层智能体的情况下修复受损链路，并在各类已评估攻击下显著降低有害服从。

意义与影响

这项工作改变了多智能体安全评估的对象：安全对齐不应只关注单个模型的权重、系统提示词或文本输入输出，还必须覆盖模型之间的连接方式。潜在表示不像文本那样容易检查，链路内部传递的内容也更难被常规审计工具直接解释，因此部署方需要把链路训练、数据来源、拓扑结构和运行时行为纳入安全测试。

实践上，一个直接的评估思路是冻结参与协作的模型，只替换或训练通信链路，再使用既有的拒答和安全基准比较前后差异。同时，链路的访问控制、训练数据审计、独立红队测试以及面向安全的修复流程，都应成为潜在通信系统的组成部分。

研究并不意味着潜在通信无法使用，而是说明效率优化不能脱离系统级安全。只要通信链路能够改变接收方的行为，它就应被视为安全关键组件，而不是普通的工程适配层。

来源：Hugging Face Daily Papers