同样的数据与安全训练，模型仍会对不同越狱攻击失守

2026年11月6日阅读约 3 分钟

导语

通常，越狱基准测试会把一个模型检查点当作被测对象，并据此判断哪些攻击提示有效。但一项发表于 Hugging Face Daily Papers 的研究提出了一个容易被忽视的问题：如果使用完全相同的数据和安全训练流程，只改变预训练随机种子，模型还会被同样的越狱方式攻破吗？

研究结果给出的答案是否定的。越狱脆弱性并不只是数据配方或安全策略的属性，也可能深深嵌入一次具体的预训练运行之中。

研究者围绕25种预训练数据配方，分别使用3个预训练种子训练基础模型，再为每个模型配上2个安全后训练种子，共得到150个模型。主要实验使用1B参数模型，同时还在150M和300M参数规模上观察了相同趋势。每个模型都针对一组共享的越狱提示收集20次回答，并比较不同模型在每条提示上的“非拒答率”。

核心结果包括：

这说明，安全后训练的随机性会带来差异，但预训练阶段一次新的运行，可能带来更大的越狱谱系变化。这里的“最佳攻击模板”本身存在噪声：即使是同一预训练运行下的两个安全训练副本，也并非总能选出同一个最佳模板。因此，27%并不意味着所有攻击效果都会完全改变，而是说明单一模板排名具有明显的不稳定性。

研究还发现，不同预训练运行会留下可识别的行为指纹。在覆盖3211条提示的实验中，模型的逐提示非拒答率能够在75次预训练运行中准确识别其来源；即使随机抽取50条提示，识别成功率仍达到98%。

这一结果对模型评估和供应链管理都有启发。企业若只对某个检查点完成一次红队测试，结论可能带有无法从该检查点本身观察到的“运行级误差”。当供应商悄然刷新基础模型时，即便模型名称、数据配方和安全训练目标保持不变，旧有越狱结果也未必仍然适用。

不过，研究并未证明50条提示可以直接作为现实供应商版本检测器。实验中的模型使用了相同的后训练配方，且识别对象来自已知的75次运行；现实更新往往还会改变微调流程。因此，指纹方法更适合作为值得进一步复测的信号，而不是现成的认证机制。

这项工作将越狱评估的关注点，从“哪种数据训练出了更安全的模型”推进到“具体哪一次训练运行产生了怎样的行为”。未来的安全报告或许需要记录更多运行级信息，并在模型更新后重复测试，而不能只依赖模型名称或单次基准排名。

研究同时提醒人们谨慎解读相关系数和攻击模板排名：这些指标揭示的是行为模式的统计相似性，不代表每一次回答都相同，也不能直接推导出真实部署环境中的总体风险。研究者已公开代码、权重和逐提示标签，为后续验证提供了基础。