混合决策模型：让模型学会判断何时值得深度思考

导语

大语言模型的推理成本，往往不只取决于参数规模，也取决于它是否需要生成一长段思考过程。简单问题若也走完整推理链，会浪费大量时间和Token；但过早跳过推理，又可能损害复杂任务的准确率。来自 Hugging Face Daily Papers 的这项工作提出混合决策模型（Hybrid Decision Model，HDM），试图让模型先判断“思考是否值得”，再决定是否支付完整推理的成本。

从“思考多少”转向“是否值得思考”

现有自适应推理方法通常缩短显式思考，或在不同模式之间切换，但最终答案仍需逐Token生成。HDM采用一种更极端的“零或T”范式：快速模式只利用一次前向计算中已经形成的隐式信息直接回答，不额外生成推理Token；慢速模式则执行完整的自回归推理，成本约为T个Token。

这种设计的关键不是固定地偏好某一模式，而是估算两种模式之间的价值差。模型会观察快速模式已经得到的内部结果，由一个轻量级自路由模块判断完整推理可能带来的效用。如果预期收益超过请求设定的价格λ，就启动慢速模式；否则直接采用快速答案。λ可以理解为用户对延迟、算力或Token预算的权衡，因此同一模型能够适配不同服务场景。

训练没有逐题标签的路由器

在标准问答任务中，可以根据快速和慢速模式的结果构造决策信号。但在网页操作等智能体任务中，通常只有一整个回合结束后的成功或失败，没有“这一时刻是否应该推理”的明确标签。为此，论文提出 Calibrated Decision Policy Optimisation（CDPO），利用回合级回报训练路由模块，使其学习哪些决策更可能改善最终任务表现。

论文在 MMLU-Pro、AGIEval、GPQA-Diamond、JevBench、BANKING77 和 MiniWoB 等任务上进行评估。JevBench上，HDM-4B得分为0.857，高于Jev的0.851；其中位延迟为0.179秒，而Jev为0.652秒，降幅达到72.5%。在更强调连续交互的MiniWoB上，HDM-27B将Token成本降低了80.1%。

意义与限制

HDM的价值在于重新定义了推理优化目标：重点不再是把每次思考变短，而是减少根本不需要发生的思考。对在线问答、批量评测和智能体服务而言，这种按请求分配推理预算的方式可能带来更灵活的成本控制。

不过，路由器是否能在不同λ、不同任务分布下保持稳定，仍是实际部署需要关注的问题。快速模式的隐式思考也较难直接检查，系统还需要在准确率、可解释性与节省成本之间进行校准。总体而言，HDM为“何时推理”提供了一个清晰的系统设计方向，而不是单纯追求更长的思维链。

来源：Hugging Face Daily Papers