别只看答对率：校准应成为大模型评测的第一等指标

导语

评测大语言模型时，人们通常首先关注准确率、胜率或任务得分。但一个模型“答对了多少”并不能说明它是否知道自己什么时候可能答错。题为《Calibration as a First-Class Criterion in LLM Evaluation》的立场论文提出，校准（calibration）不应只是少数不确定性研究者关注的专门议题，而应成为大模型评测中的基础标准。

这里的校准，指模型表达的或隐含的置信度，是否与实际正确率相匹配。一个校准良好的模型，在给出较高把握时应更经常答对；当它不确定时，也应适当降低信心。相反，过度自信的模型可能在错误答案上表现得非常肯定，这会让用户更难识别风险。

核心要点

• 问题不在于没有方法，而在于缺少采用。 NLP领域已经有多种校准测量方法。论文指出，许多现有基准本身就提供了计算校准所需的两类信息：模型的置信度，以及答案是否正确。因此，在不少封闭式任务中，报告校准结果并不需要重新设计整个评测流程。
• 失校准会影响模型部署。 在实际应用中，过度自信的错误可能被用户直接采纳。仅比较平均性能，无法反映模型在高置信度决策上的可靠程度，也无法充分支持风险控制和人工复核。
• 研究流程同样依赖置信度。 LLM-as-a-judge、合成数据生成和主动学习等方法，都会在不同程度上使用模型的判断或信心。如果这些信号没有经过校准，研究者可能错误地筛选数据、接受评价，或把不可靠的输出当作高质量样本。
• 开放式生成仍有难点。 对有明确答案的任务，正确性相对容易判断；但对长文本、创意写作或复杂推理，究竟什么算作“正确”，以及应如何从模型输出中提取可比较的置信度，仍然缺乏统一方案。

这项主张意味着什么

论文并不是提出一个新的校准算法，而是呼吁改变评测习惯：每个NLP子领域都应将主要性能指标与校准分数配套报告。这样，研究者看到的就不只是模型平均能做对多少，还包括模型的信心是否具有可用的解释力。

这一思路也提醒我们区分“能力”和“可靠性”。两个模型可能拥有相近的任务得分，但其中一个更善于在不确定时示警，因而更适合需要人工接管或风险分级的场景。对于模型开发者而言，校准结果还能帮助判断置信度是否值得被下游系统使用，而不是默认把概率、口头自信表达或评审结论当成可信信号。

当然，校准分数不能替代准确率，也不能单独解决事实性、偏见或开放式质量判断问题。它更像是性能评测的一条必要维度。将其纳入常规报告，可能是让大模型评测从“结果好不好”进一步走向“模型是否知道结果有多可靠”的关键一步。

来源：Hugging Face Daily Papers