量化可能激活大模型后门：部署前验证为何不够

导语

后训练量化通常被视为一种工程优化：通过降低权重精度，模型可以减少存储和计算开销，更适合边缘设备运行。实际流程中，团队往往先对完整精度模型进行评测和安全认证，再在交付阶段统一转换为 INT8 或 4-bit 模型。然而，一篇发表于 arXiv 的新研究提醒，这个看似自然的流程可能留下一个被忽视的安全缺口：模型通过了源模型检查，不代表量化后的最终版本也会保持相同的行为。

核心要点

• 量化不是简单的“等价压缩”。 量化会把多个不同的高精度参数映射到相同或相近的低精度表示。论文将这类关系形式化为“量化行为等价类”（QBEC），并从理论上说明，处于同一量化等价类并不能推出模型在输入输出层面的行为等价。
• 后门可以在高精度阶段保持潜伏。 研究者采用三阶段对抗微调框架，在模型中嵌入潜在恶意载荷，使模型能够满足研究中使用的源精度检查，但在压缩后表现出定向异常行为。这里的关键并不是量化凭空创造了后门，而是量化改变了参数表示，使原本不明显的行为被暴露或激活。
• 影响覆盖不同类型的序列模型。 实验从以往的仅解码器语言模型扩展到多语言编码器—解码器模型，并考察了战术机器翻译和政治内容分析两个场景。
• 异常幅度可能很高。 在翻译实验中，经过修复的 FP16 模型未测得“敌我”内容腐化，但量化后最高出现 85.02% 的反转。配对的立场分类器还测得最高 0.33 的意识形态偏差变化。论文同时指出，攻击能否跨量化器持续存在，会受到量化方案和模型架构影响，不能只看名义位宽。

为什么重要

这项工作的价值在于，它把一个常被当成部署细节的问题，重新定义为模型供应链和安全认证问题。传统审计通常围绕单一检查点展开：确认高精度模型在基准集、红队测试或后门扫描中表现正常，再将其交给推理系统处理。但量化会产生新的参数表示和新的数值误差结构，部署后的模型实际上已经不是被审计的同一个配置。

因此，安全流程至少需要把量化器、校准方法、目标硬件和最终推理栈视为测试对象。每一种计划使用的部署配置，都应重新进行功能评测、触发器测试和安全回归测试；对于高风险应用，还应比较量化前后的输出分布、拒答行为、翻译方向和立场稳定性。跨量化器测试也很重要，因为一种量化方案下出现的风险，未必会以同样强度迁移到另一种方案。

论文并不意味着所有量化模型都会出现后门，也不能仅凭摘要判断其攻击在现实供应链中的普遍概率。它更明确地揭示了一个验证原则：源精度模型的安全结论不能自动外推到部署精度模型。随着大模型越来越多地运行在资源受限设备上，量化后的最终工件应当被视为独立的安全边界，而不是未经复测的压缩副本。

来源：arXiv