让小模型接管选择：JevAgentHarness探索低成本LLM智能体

导语

当前的LLM智能体通常每执行一步都调用一次大型语言模型：读取环境、判断下一步动作、选择工具，再根据反馈继续循环。这样的架构灵活，却也意味着长任务会积累大量推理延迟和API费用。JevAgentHarness提出的方向是，把其中相对结构化的“选择题”交给更小、更快的决策模型处理，只在模型不够确定时请LLM介入。

核心要点

• 从单题评测扩展到完整智能体。 研究团队构建AgentDecisionBench，覆盖孤立决策问题、公开基准任务以及DecisionGym环境中的运行中智能体，试图检验决策模型在真实控制链路里的价值。
• 局部准确不等于任务成功。 在孤立问题上表现最好的决策模型，最终只完成了69.5%的智能体任务。这说明工具选择一旦出错，错误可能改变后续状态，单步指标无法充分反映长期影响。
• 用置信度门槛控制委派。 如果不针对任务和选择类型拟合门槛，直接把工具选择交给决策模型，成功率会下降19.0个百分点。JevAgentHarness利用智能体自身轨迹，为不同选择拟合门槛；低于门槛时交回LLM，高于门槛时由小模型执行。
• 训练模型面对“自己造成的状态”。 传统决策模型往往只见过理想或人工整理的状态，却没有覆盖智能体犯错后进入的异常轨迹。AgentDecision-4B使用这类状态，并以Jev的答案作为标签进行训练，使模型更贴近实际运行分布。

结果与意义

在与训练数据不同的任务上，使用AgentDecision-4B的智能体完成率为91.5%，使用Jev时为82.0%。在与训练数据相近的任务中，这类4B模型让智能体成本降低81.1%至89.0%，速度最高提升2.5倍，同时没有损失3个百分点或更多的任务成功率。素材未提供完整实验设置，因此这些结果不应被理解为对所有智能体或任务的普遍保证。

这项工作的重要性不只是“用小模型替代大模型”，而是强调替代必须嵌入控制策略：什么时候可以放心委派、什么时候必须升级到LLM，以及模型如何学习处理错误累积后的状态。对智能体开发者而言，评估重点也应从静态选择准确率转向端到端成功率、校准质量、成本和延迟的联合衡量。未来，决策模型能否在更多工具、环境和失败模式中保持可靠，将决定这种混合式架构的实际边界。

来源：Hugging Face Daily Papers