LLM-Attacker：把分布式大模型隐私评测变成可复核实验

导语

把用户文本留在客户端，并不意味着分割式语言模型天然安全。此类系统通常会把每个token对应的中间激活发送给服务器；在训练场景中，服务器还可能收到反向传播梯度。这些通信内容都可能携带足以重建原文的信息。更棘手的是，不同论文往往采用不同的攻击者权限、模型知识、数据集和恢复标准，导致隐私结论难以直接比较。

LLM-Attacker的重点不是提出一个单独的文本窃取算法，而是把“如何评测”本身做成可检查的实验对象。该框架记录实验条件，捕获并复用兼容攻击所需的消息，同时保存攻击预测，使其他研究者能够独立重新计算指标。

核心要点

• 显式记录攻击面。 评测需要说明攻击者能看到哪些消息、是否掌握模型权重，以及使用了什么数据和恢复定义。
• 复用同一份观测数据。 对于条件兼容的攻击，研究者可以基于已记录的消息进行比较，减少因数据或输入差异造成的偏差。
• 让结果可独立复评。 框架保存攻击输出，而不只发布最终分数；这有助于检查评分逻辑，并在后续采用新的指标。
• 防止防御脱离基线。 一项防御只有在存在对应的未防御参考评测时，才具备通过比较的基础。
• 报告未覆盖的攻击。 结果不仅展示测过什么，也指出还没有测过什么，避免把有限实验误读为全面安全证明。

实验观察与意义

在受控的GPT-2实验中，仅比较是否加入训练阶段返回的梯度，token恢复率从94.20%升至97.38%，整篇文档的精确恢复率则从13.71%升至37.77%。研究预先设定了两个百分点的token增益阈值，结果的95%区间位于该阈值之上。这里的实验并非声称所有系统都会出现同样幅度的泄露，而是展示：改变攻击者能够获得的消息，可能显著改变隐私评测结论。

这项工作的价值首先在方法学层面。它把攻击效果、实现检查和评测覆盖范围分开报告，减少“代码能运行”与“攻击确实有效”之间的混淆。对于系统开发者，框架提醒他们不能只保护客户端原文，还应审视激活、梯度、压缩过程及其组合。对于研究者，统一的记录和评分机制则有助于复现实验、比较防御，并更清楚地表达隐私声明的适用边界。

不过，框架并不会自动消除所有不确定性。任何结论仍取决于攻击者设定、数据集、模型和恢复指标；未被测试的攻击也不能被视为无效。因此，分割式LLM的隐私报告应同时回答三个问题：攻击者看到了什么，如何定义恢复成功，以及哪些攻击尚未纳入评测。

来源：Hugging Face Daily Papers