安全评测测到的，可能是政策而非能力

导语

当一个护栏分类器在安全基准上取得高分时，我们通常会把它理解为：模型更擅长识别危险请求，或更能避免误拦截。但一篇发表于 Hugging Face Daily Papers 的研究提醒我们，这个解释可能过于简单。对“什么是不安全”的定义，往往已经通过训练标签进入模型，因此基准分数不一定只反映检测能力，也可能反映模型学到了哪套审核政策。

同一模型，不同的“危险”定义

研究者利用一次工业部署中的标注数据：约5.3万个相同提示词，分别按照两种运营标准进行标注。一种标准关注“这是否是在请求有害内容”，另一种则关注“审核员是否会拦截它”。两套标签随后被用于训练十个护栏模型。这些模型共享架构、代码库和优化器家族，并覆盖两个模型规模，从而尽量把差异集中到标签政策本身。

研究结果包含几个值得注意的观察：

• 训练数据与常用评测集存在明显重叠。JailbreakBench-benign 约有88%的样本、OR-Bench-hard 约有82%的样本出现在训练池中。研究者在后续分析中进行了去污染处理。
• 不同基准对政策差异的敏感程度并不相同。在十个模型之间，HarmBench-copyright 的分数跨度接近整个量程，而 WildGuard-benign 的跨度只有0.043，前者的变化幅度约为后者的23倍。
• 仅改变约0.03%的参数，就可能让某些基准分数横跨全部范围。HarmBench-copyright 在不同模型间可从0到100，OR-Bench-hard 的过度拒答率则从3.4%到56.4%。
• 当最后一阶段的监督信号采用某种政策时，模型往往会在相关基准上落入对应的极端位置，但研究者认为这并不代表基础检测能力发生了同等变化。

教师模型也会带入“隐形政策”

问题不仅存在于硬标签训练。研究还指出，在知识蒸馏中，教师模型提供的软标签同样可以把某种审核倾向传递给学生模型，即使学生使用的硬标签全部来自另一套政策。换言之，公开一个检查点时，如果不说明教师模型的来源和标注逻辑，使用者很难判断其中包含了哪些未记录的政策变量。

另一个信号来自验证集准确率。跨模型比较时，准确率与模型和标注者政策的一致程度相关性更高，相关系数为0.74；与所谓检测能力的相关系数则为0.34。这说明“在验证集上答对”可能更多意味着模型复现了评分者的判断标准，而非建立了与政策无关的安全理解。

对安全评测的影响

这项工作并不是说安全基准完全没有价值，而是要求我们重新解释分数。护栏系统本质上服务于具体产品政策：平台可以选择更严格地拦截潜在风险，也可以优先减少对正常请求的误伤。两者都可能合理，但不能在没有说明评分定义的情况下，把某一政策下的高分直接宣传为普遍安全能力。

研究者建议，未来评测至少应报告训练数据污染情况、足够的随机种子或重复实验、明确的评分定义，以及教师模型和软标签的来源。对模型开发者而言，发布单一分数之外，还应展示不同政策、不同阈值下的误拒绝与漏检表现。只有把“模型能力”和“政策一致性”拆开，安全基准才更接近可比较的科学测量。

来源：Hugging Face Daily Papers