小模型真的知道自己“不知道”吗？研究发现，答案未必

小型语言模型往往被视为低成本、低延迟的部署方案，但它们是否能识别自己的错误，仍是一个关键问题。arXiv 上的一项新研究围绕这一点展开：当一个参数量低于 30 亿的模型给出答案时，我们能否通过它自身的“不确定性”信号，判断哪些回答值得怀疑？

研究看了什么

论文在消费级硬件上评估了七种方法，覆盖七组模型配对和五个标准自然语言理解基准。研究重点并不是单纯比较模型大小，而是测试不同置信度指标能否有效区分“答对”和“答错”。

核心结果包括：

• token 级熵几乎失灵。 在 91% 的数据集—模型组合中，平均 token 熵接近于零，无论最终答案是否正确，模型都表现出类似的“确定感”。这意味着，对小模型直接读取生成过程中的 token 概率，难以获得可靠的置信度信号。
• 语义熵更有价值。 研究通过多次生成答案，再按含义进行聚类，并据此估计答案分布的不确定性。与只观察单次生成中的 token 概率相比，这种方法更能反映模型是否在不同答案之间摇摆。
• 不确定时再调用大模型。 当语义熵显示问题可能超出小模型能力时，系统把请求路由给更大的专家模型。该策略带来的准确率提升最高达到 50 个百分点，说明不确定性估计可以成为动态分配计算资源的工具。
• 跨家族路由收益更高。 从 SmolLM 360M 路由到 Phi-3.5-mini 等不同模型家族时，平均提升为 22.0%；同家族路由的平均提升为 6.8%。在这组实验中，专家模型的实际能力似乎比架构上的“血缘关系”更重要。

这意味着什么

这项工作对“小模型如何更聪明地工作”提供了一个较清晰的方向：重点不一定是让小模型独立回答所有问题，而是让它知道什么时候不应继续独立回答。一个轻量模型可以先处理大多数简单请求；只有在语义熵较高、答案分歧较大时，系统才消耗更多 token，调用更强的模型。这种机制有望在质量、延迟和成本之间建立更灵活的平衡。

不过，研究也提醒我们，模型内部看似精细的概率信号并不必然等于可靠的自我认知。token 熵在小模型上的失效，说明针对大模型设计的置信度方法不能直接照搬。语义熵虽然更有效，却需要多次生成、聚类和额外推理，是否能在真实应用中抵消这些开销，还需要结合具体任务进一步评估。

总体来看，这项研究把“不确定性”从一个评测指标，推进为一种路由策略：小模型的价值不只是省算力，更在于帮助系统判断算力应该花在哪里。

arXiv