CLASHarness：让多智能体冲突评测从叙事走向可验证

2026年10月15日阅读约 2 分钟

导语

当多个视觉语言模型共同操作文件、网页或业务系统时，问题往往不在于“能不能完成指令”，而在于“该相信谁”。一个子智能体可能提供过期状态，另一个智能体可能给出相互矛盾的建议，甚至不同角色还会争夺共享文件、锁或权限。此时，系统需要把他人的输出视为待验证信息，而不是事实本身。

CLASHarness正是为评估这种能力而设计的框架。论文指出，过去的计算机使用基准通常假定环境干净、信息一致且参与者合作，因此难以反映真实多智能体工作流中的冲突处理能力。

从“写题目”转向“生成可验证任务”：CLASHarness采用分层场景规划和八阶段验证微流程，并配套23个模块化冲突与挑战插件，可生成过期信息、矛盾指令、共享资源竞争等情境。
先确定事实，再渲染界面：框架会在生成视觉证据前预先锁定决定性事实，减少自由生成带来的叙事漂移、答案泄漏和评分标准无法满足等问题。
评分器来自执行轨迹：系统在沙盒中运行参考轨迹，再据此编译结合确定性代码检查与语义判断的混合评分器。按照论文描述，任务在构造阶段即保证存在可行解。
规模覆盖多类操作场景：基准包含600个可执行多轮任务，覆盖20个操作领域，配套60个任务包、7970个4K视觉证据资产和3284项必要检查。

论文对15个前沿模型进行评测后，明确展示出一个关键差异：当子智能体的报告与当前环境冲突时，较弱模型更容易直接采纳误导信息；能力更强的模型则更可能回到界面或环境中检查视觉证据，以确认真实状态。这说明多智能体协作的瓶颈不只是语言理解，也包括跨来源的信息校验和基于证据的行动决策。

CLASHarness的价值首先在于把“冲突解决”从开放式故事变成可复现的交互评测。预先确定事实、执行参考轨迹并自动生成评分规则，有助于降低人工出题和人工判分的成本，也让不同模型之间的比较更具可解释性。

对实际系统而言，结果提醒开发者不能只优化智能体之间的消息传递，还应要求模型主动核验共享环境、识别信息时效性，并在权限或状态不一致时暂停执行。未来，多智能体计算机使用系统的可靠性，很大程度上取决于它们能否在“合作”与“怀疑”之间取得平衡。