推理努力不是越高越好：LLM Agent 的成本与效果悖论

2026年10月28日阅读约 3 分钟

导语：多想一会儿，未必更划算

越来越多的大语言模型提供“推理努力”或类似设置，让用户决定模型在一次请求中投入多少推理计算。直觉上，更高档位意味着更长的思考、更高的准确率。但这项研究提醒我们：推理预算并不是一个简单的性能旋钮，而是一个需要管理的成本决策。

研究者将推理努力视为一种“信任品”（credence good）。用户必须在看到问题结果之前选择档位；即使最终答对，也无法知道额外购买的计算是否真的有必要。因此，单看成功率，往往无法判断高努力是否物有所值。

研究覆盖专有模型和开放权重模型，并在四个基准上考察两类场景：一次调用即可完成的推理任务，以及需要多步行动的长程智能体任务。

总体准确率上升，不代表逐题表现更好。 高努力在汇总指标上可能带来提升，但它并不能稳定保留低努力已经解决的任务。有些问题在较低档位下成功，换成更高档位后反而失败，说明额外推理可能改变解题路径，并引入新的错误。
简单任务存在明显过度支付。 在所有努力等级都能解决的任务子集上，更高档位通常只带来更多成本，而不会改变结果。研究观察到，最高档位的成本最高可达到最低档位的 42 倍。
改变的不只是 token 数，还有解题方式。 随着努力等级提高，智能体更频繁地自我核验，也更常搜索现成方案，而不是直接推进问题求解。这些行为会拉长轨迹，却未必改善最终结果。

研究提出一种简单的升级策略：先以最低努力等级运行；只有在结果经过验证确实失败后，才提高预算重新尝试。这个方法利用了一个现实优势——许多请求其实并不需要昂贵的深度推理。

根据研究结果，该策略在所有被测试的模型和基准上，都能匹配或改善固定使用最高努力的表现；对于多数专有模型，它还可以降低成本。这里的关键不是盲目限制思考，而是让额外计算由可验证的失败触发，而不是在请求开始时一律预购。

这项工作对推理服务和智能体架构都有直接启示。部署者不应只比较不同努力档位的平均准确率，还应记录同一任务在不同档位下的反事实结果、token 消耗、轨迹长度和失败类型。对于有明确校验器的代码、数学或工具调用任务，分级重试尤其适合落地。

不过，低努力起步并不意味着所有任务都应采用同一套策略。若结果难以验证，升级触发器就需要依赖规则、测试、外部反馈或多轮评估。更重要的是，研究结论来自特定模型、基准和任务设置，不能直接推断所有真实业务都存在相同幅度的成本差异。

总体而言，推理努力更像一个动态资源分配问题，而不是“档位越高越聪明”。未来的 Agent 需要学会判断何时值得继续思考，也需要证明额外思考确实带来了价值。