BizBench：长周期业务智能体不能只看“做没做成”

导语

AI 智能体正在从“回答问题”走向执行退款、结算、审核和资源调度等业务流程。与一次性问答不同，这类任务会改变业务状态、占用资金与时间，并影响后续决策。一个看似成功的结果，如果此前已经违反授权、余额或时限要求，在真实企业环境中仍可能带来财务损失和合规风险。

BizBench（原文部分位置称 BizAgentBench）正是为检验这类问题提出的基准。它以一家全球支付公司的业务流程为基础，在可执行的状态化环境中，让智能体通过多轮客户对话、文档检索和工具调用完成任务。环境包含789份知识文档和601个可发现业务工具，50项任务覆盖资源约束、时间依赖、既有承诺，以及过期或彼此冲突的指导信息。

核心要点

• 规则不是静态答案。 同一条政策是否适用，取决于业务事件、产品、地区和生效时间。旧指引并不一定完全无效，例如已过期的保单，仍可能适用于保单有效期内发生的事件。智能体必须判断权威来源及其适用范围。
• 授权必须匹配实际操作。 客户的笼统同意不等于授权所有后续动作。授权需要覆盖具体操作及条款，由具备相应权限的人作出，并且先于执行。工具能够接受某项操作，也不代表该操作符合储备金或保障要求。
• 违规不能靠事后补救抹平。 如果智能体曾短暂突破关键余额限制，之后再补足资金，也不能消除已经发生的过程性违规。
• 等待本身可能造成失败。 获取审核或仓库确认的过程中，配送窗口可能关闭，资金和时间也可能被其他承诺占用。因此，智能体需要并行收集信息、安排动作，并持续检查全局约束。

评测结果与意义

BizBench 使用确定性检查，同时评估目标是否完成、执行过程是否合规，以及是否产生被禁止的副作用；它不要求所有模型采用同一条路径。材料显示，Claude Opus 5和GPT-6 Sol的严格成功率分别只有64.0%和61.3%。对 Qwen3.8-27B而言，目标达成率为42.0%，但严格成功率降至32.7%，直接呈现了“结果正确、过程违规”之间的差距。GPT-6 Sol在三次运行中均成功完成任务的比例也只有40%。

这项工作提醒企业，智能体评测不能只统计最终状态。真正可部署的系统还必须回答：它找对了适用规则吗？执行时是否拥有足够授权？是否在整个过程中守住资源和时间边界？BizBench把这些问题转化为可重复检查，为高风险业务中的智能体验证提供了更接近现实的测试框架。

来源：Hugging Face Daily Papers