大模型评测该“瘦身”了：一项关于基准压缩的系统综述

导语

大语言模型的能力越来越复杂，评测所依赖的基准也在持续扩张。更大的测试规模有助于覆盖更多任务，却也意味着更高的计算、时间与工程成本。更值得注意的是，不同基准或样本之间可能包含相似信息：如果多个测试反复衡量相近能力，完整评测未必能带来与成本相匹配的新信息。

一篇发表于 Hugging Face Daily Papers 的综述，系统整理了截至目前有关“大模型基准压缩”的研究。作者团队回顾了119篇论文，试图建立统一框架，解释研究者如何减少实际测试量，同时估计完整基准下的得分或模型排名。

核心要点

• 单一基准内部压缩：从一个较大的测试集里挑选具有代表性的子集，用部分结果近似完整基准的结果。关键在于样本是否覆盖足够多的能力、难度和数据分布。
• 跨基准套件压缩：面对由多个基准组成的评测组合，方法尝试利用不同基准之间的关联，用更少的测试恢复整体表现或排名。这类方法关注的是基准之间的信息重叠，而不只是单个数据集的采样。
• 自适应评测：评测过程不再预先固定全部测试内容，而是根据已经获得的结果决定下一步测什么。这样可以把资源投入到更有区分度或更不确定的部分，但连续决策也可能带来额外等待时间。
• 可靠性不能被压缩掉：减少测试数量并不等于天然可靠。综述特别关注覆盖范围、估计误差、排名稳定性以及其他验证机制，提醒使用者检查压缩后的结论是否足以支撑实际决策。

意义与影响

这项工作的重要价值不在于提出单一的“最佳压缩算法”，而在于把分散的研究放入同一张地图。对于模型开发者，基准压缩有望降低迭代评测的成本，让更多时间用于训练、调参与错误分析；对于基准设计者，它也提供了重新审视冗余、代表性和可靠性的视角。

不过，压缩始终是一种权衡。代表性子集可能遗漏少见但重要的能力，跨基准推断可能受到相关性变化影响，自适应评测则可能牺牲并行执行效率。因此，实际部署时不能只看节省了多少测试，还应明确压缩目标、信息需求和验证标准。更高效的评测，不应只是“少测一些”，而应是在可解释、可复核的前提下，用有限预算获得足够可信的结论。

来源：Hugging Face Daily Papers