不确定时再加精度：小模型按解码步骤动态读取权重

在大语言模型推理中，权重精度通常是一次性选定的：要么全程使用低比特以节省显存和带宽，要么全程使用更高精度以换取稳定性。这篇论文提出了另一种思路：让模型先用低成本精度完成大多数解码步骤，只有在模型表现出“不确定”时，才重新读取更高精度的权重。

研究以 8 bit 权重作为存储形式，解码时先使用其最高 4 个比特。如果低精度输出分布的熵超过阈值，或最大与次大候选之间的差距过小，系统就把当前步骤升级为 8 bit 重新计算。作者在 Qwen3-0.6B 和 GSM8K 上进行了实验，并以每个 token 读取的权重字节数作为成本指标。

核心结果

• 在 36,724 个回放步骤中，低精度结果的熵能够以 AUC 0.93 识别最终 argmax 是否会在高精度重算后发生翻转。
• 当升级预算约为 15% 时，熵门控捕获了 78% 的翻转，margin 门控捕获了 94%；随机门控在同样比例下的预期捕获率为 15%。
• 在 150 道实时题目上，全 8 bit 得分为 64.0%，全低精度为 55.3%。熵门控在约 16% 步骤升级时得分为 62.7%，权重读取量约为全高精度方案的 0.87 倍。
• 配对统计结果并未把动态策略与任一端点清晰区分开来：相较全高精度的差异为 -1.3 个百分点，区间为 -8.0 至 +5.3；相较全低精度的差异为 +7.3 个百分点，区间为 0.0 至 +14.7。

这项工作最有价值的地方，是展示了“不确定性”可以作为精度预算分配信号。它证明门控器擅长发现低、高精度之间的决策分歧，但 argmax 翻转并不等于最终答案错误；某个 token 发生变化，后续生成仍可能回到同一答案。因此，真正关键的指标应是相同读取成本下的最终任务准确率，而不仅是翻转检测能力。

论文的证据边界也需要特别注意。实验没有提供同等预算的固定 5 bit 或 6 bit 解码基线，也没有运行实时随机门控、思考模式阶段规则、第二个模型或实时 KL 测试。作者还指出，验证式 speculative decoding 在相近成本模型下可以达到零 KL，但这并不直接证明动态权重升级更优。与此同时，逐 token 分支在连续批处理场景中的调度、带宽和显存占用尚未测量：实际部署可能需要同时驻留两种精度，或因单个请求升级而影响整个批次。

因此，这项研究更适合作为一种有潜力的推理服务机制，而不是已经完成验证的准确率优化方案。下一步应在严格匹配字节预算的固定精度基线上比较最终答案正确率，并加入并发请求、批处理吞吐和显存峰值测试。只有当门控带来的选择性读取能够在真实服务约束下优于均匀分配精度时，“需要时再加精度”才会从离线信号检测变成可落地的系统设计。

来源：Hugging Face Daily Papers