QuoteBench：同分不代表命令执行链路没有问题

导语

在评估能够操作终端的编码智能体时，最终任务是否成功，往往被直接当作模型能力的分数。但一条 Bash 命令从模型输出到真正执行，中间可能经历序列化、字符串插值、包装和再次解析。任何一个环节处理引号不当，都可能改变命令的含义。于是，一个看似简单的成功率，实际上混合了“模型是否生成正确命令”和“系统是否正确传递命令”两类因素。

论文 QuoteBench 专门测量这条边界，试图回答一个实际部署问题：失败究竟发生在模型端，还是发生在命令执行接口？

核心要点

• 评测规模聚焦于可验证结果。 基准包含56个一次性任务，来自14类由真实事件提炼的场景，并使用精确的最终状态验证，而不是只检查模型文本是否看起来合理。
• 人为加入一个解析边界。 研究者让模型回复经过一个刻意未转义的额外解析器，再与原始执行路径比较。对同一回复进行重放，可以隔离执行传输本身造成的损失。
• 接口破坏幅度很大。 在八种保持测试窗口一致的配置中，重放同一回复会让成功率下降55.4至73.2个百分点。这说明匹配条件下的高分可能掩盖严重的命令路径脆弱性。
• 披露边界能带来适应性恢复。 当模型获知新增边界后，六种配置恢复了30.4至60.7个百分点；另两种配置没有恢复，甚至出现轻微负面变化。恢复来自模型改变生成方式，而不是执行器替原回复“修好”了命令。
• 模型排序会随部署方式改变。 原始生成能力在前沿配置中已接近饱和，真正拉开差距的是模型能否适应具体的生成契约与执行路径。研究还观察到明确的模型排序反转，另有若干比较只差一个任务。

为什么重要

QuoteBench最值得注意的地方，不是提出了一个新的命令语法技巧，而是重新定义了编码智能体评测的对象。传统匹配分数通常默认：模型输出可以无损抵达执行环境。但在真实产品中，代理框架、工具调用协议、Shell 包装器和权限层都可能改变这条路径。若不把这些条件写清楚，不同系统之间的分数就未必具有可比性。

这也解释了为什么某些模型在离线测试中表现相近，接入不同工具链后却可能出现明显差距。论文给出的例子显示，一个配置的匹配差距只有负3.6个百分点，但额外边界实际造成的损失达到64.3个百分点，模型通过边界适应又补回60.7个百分点。单看最终分数，很容易把这种复杂过程压缩成一个误导性的结论。

因此，命令型智能体的报告至少应列明：模型及其配置、生成格式或契约、命令传输与解析路径、测试工作点，以及判断任务完成与否的最终状态验证器。对开发者而言，修复转义和解析问题可能比更换模型更有效；对评测者而言，则应把“生成正确性”和“跨边界鲁棒性”拆开测量。只有这样，分数才真正反映系统在目标部署环境中的能力。

来源：Hugging Face Daily Papers