DecisionPivot：别让平均准确率掩盖决策模型的真实能力

导语

在 LLM 系统中，模型不只是负责生成文本，也经常承担路由、护栏判断、输出验证等“做决定”的工作。传统评测通常以单题准确率或一个总分概括能力，但这类指标很难回答一个更实际的问题：当输入只发生关键细节变化时，模型能否随之稳定改变判断？此外，模型给出的高置信度预测，是否真的更值得信任？

Hugging Face Daily Papers 收录的 DecisionPivot，正是针对这两个问题设计的诊断型基准。它并非只追求一个排行榜分数，而是试图把决策错误定位到具体的关键变化和难度层级。

基准如何设计

DecisionPivot 共包含 48 项任务、40,033 个样本，覆盖七类决策角色。评测分为两个部分：

• 核心轨道：包含 13 个生成式任务家族和 7,800 个样本。样本被组织为对比组，组内实例只在具有决定性影响的细节上存在受控差异；计算答案则由独立实现的求解器进行验证。
• 参考轨道：汇集 35 个公开测试集，共 32,233 个样本，并保留各数据集原有的评价指标。

研究团队评估了 40 个决策模型和 14 个通用模型，并根据模型特性采用有记录的评测协议。除了单题准确率，指标还包括对比组准确率、概率排序、置信度校准，以及在拒答或选择性预测场景中的经验覆盖率。

平均分之外的差异

结果说明，总体准确率可能掩盖关键能力差异。两个参数规模为 27B 的模型在参考轨道上只相差 2.6 个百分点，但在对比组准确率上分别达到 70.1% 和 44.2%。这意味着，一个模型可能在独立题目上表现尚可，却无法稳定识别“哪一个细节改变了正确答案”。

另一个值得注意的现象出现在 2,400 组二元对比样本中。Perplexity Decider 将正例的概率排在负例之前的比例为 92.3%，但同时正确回答两者的比例只有 74.1%。这揭示了概率排序与决策正确性之间的差距：模型可能知道两个选项的相对倾向，却并没有真正准确完成两个判断。

置信度也不能只看数值大小。具有相近单题准确率的模型，其高置信度预测的可靠性可能不同。DecisionPivot 还报告了推理投入对表现的影响：在一个包含 1,296 个样本的子集上，GLM-5.3 在较高推理设置下的对比组准确率为 93.5%，而在最低推理投入下为 81.5%。

意义与影响

DecisionPivot 的价值在于把“模型答对了多少”扩展为“模型在什么变化下答错、是否知道自己可能答错，以及是否能可靠地筛选高置信度结果”。对于路由器、内容安全护栏和自动验证器而言，这些能力往往比单一平均分更接近真实部署需求。

它也提醒评测者，未来的决策模型测试不应只依赖独立样本和汇总分数。对比组设计、概率行为、校准和选择性覆盖率，可以帮助开发者发现平均指标无法暴露的脆弱点。不过，素材目前主要提供基准设计与摘要结果，尚未呈现完整任务清单、全部模型排名或详细复现实验，因此更适合将其视为诊断框架介绍，而不是对所有模型能力的最终定论。

来源：Hugging Face Daily Papers