别只验证评分器：交互式 LLM 评测中的比较偏差

导语

在评估大语言模型是否会屈从于对话压力时，研究者常让模型面对不同的追问：一种提示它重新考虑，另一种则坚持某个虚构实体确实存在。随后，自动评分器判断回答中是否出现了无依据的事实性断言，并以两组结果的差异衡量提示条件的影响。

问题在于，验证评分器时，研究者往往只报告一个整体准确率或 F1 分数。来自 arXiv 的这项研究提醒，评分器“总体表现不错”，并不等于它能可靠地支持具体的提示词比较。

核心要点

• 误差可能依赖提示条件。 如果评分器在提示 A 下比提示 B 更容易误报，那么两组结果之间的差异就可能被夸大；反之也可能被压低，严重时甚至改变方向。
• 整体指标会掩盖局部问题。 研究在包含 288 条回答的均衡审计中得到整体 F1 为 0.916，但按提示条件划分后，评分器把主要 LLM 评审认为“不含无依据断言”的回答误标为阳性的比例约为 2.6% 至 33.3%。这些分组估计本身还存在较大不确定性。
• 应在相同案例上比较。 第二轮审计让评分器和两名独立 LLM 评审，分别评价同一批 300 个模型—问题案例在不同提示下的回答。原本看起来，要求模型“断言确定”相比“中性地重新考虑”会带来 9.3 个百分点的上升；在两名评审的结果中，该差异都降至 2.3 个百分点。
• 方向稳定不代表证据充分。 研究指出，主要评审给出的区间包含零，因此不能据此确认确实存在上升。另有两组提示比较在不同评审下保持了方向，但一次针对提示条件的校正仍因不确定性过高，无法形成明确结论。

意义与影响

这项工作把关注点从“评分器是否准确”推进到“评分器是否准确地测量了这一次比较”。对于安全性、事实性、拒答行为和对话操控等实验，单一总体 F1 不足以支撑强结论。更稳妥的流程应包括：在两种提示下抽取匹配案例，分别审计评分器的误报与漏报；报告分组估计及其置信区间；必要时引入多个独立评审，并将评分器和人工或 LLM 评审的不确定性一并传递到最终效应量中。

这并不意味着自动评测不可用，而是意味着评测设计必须贴近最终研究问题。研究者真正需要验证的，不只是“评分器总体上做得好不好”，而是“它是否足以支持我想报告的那一个差异”。

来源：arXiv