HarmProfile：别只看拒答率，前沿大模型的风险也有“分布”

导语

当前的大模型安全评测，往往把有害输出视为一次越狱攻击是否成功的结果：模型拒答了，测试就结束；模型被诱导生成内容，样本则被记录为失败。但这种方法回答了“能否被攻破”，却较少回答“模型究竟会产生什么样的风险内容”。HarmProfile 试图把安全失效本身变成研究对象。

核心要点

• 从单点失败转向风险分布。 研究团队将模型在失效状态下产生的内容，按照内容类型、严重程度与变化程度进行整理，并将这些统计特征定义为模型级风险画像。它关注的不只是失败次数，还关注失败内容的范围和结构。
• 建立跨模型的有害内容语料。 HarmProfile 包含超过 8 万条经过验证的样本，覆盖 23 个前沿大模型和 13 个模型家族，并划分为 15 个危害类别、57 个子类别。这样的规模有助于比较不同模型的风险差异，而不是依赖少量示例做判断。
• 模型之间存在不同的风险画像。 研究显示，前沿模型能够在较大规模上持续产生有害内容，但它们并非以完全相同的方式失效。某些模型可能更集中于特定危害类型，另一些模型则呈现更广泛或更多样的失败内容。
• 能力提升可能带来更复杂的安全挑战。 素材给出的结论是，有害性和有害输出的多样性都会随模型能力增长。换言之，更强的模型可能在对齐表面下保留更丰富的危险知识，这也使“看起来安全”与“实际风险较低”不能简单画等号。

意义与影响

HarmProfile 的价值，不在于提供一个新的越狱技巧，而在于改变安全评测的观察单位。拒答率、攻击成功率等指标仍然重要，但它们难以说明失败内容的分布，更难揭示模型在不同风险领域中的偏向。通过建立结构化的失败样本库，研究者可以进一步比较模型家族、分析安全对齐后的残余风险，并为红队测试、风险分级和安全训练提供更细的依据。

不过，这类基准也应被理解为风险测量工具，而不是模型安全性的最终判决。样本的收集方式、验证标准和类别划分都会影响画像结果。更稳妥的做法，是将 HarmProfile 与攻击成功率、拒答质量以及不同场景下的安全测试结合起来。对前沿模型而言，真正需要评估的并非“是否从不犯错”，而是“会在哪些方向、以多大严重程度、以多大变化范围犯错”。

来源：Hugging Face Daily Papers