Dual Exam：把多模态智能体与世界模型分开测，才能看清短板

导语

世界模型通常被设想为多模态智能体的“内部模拟器”：它可以先预测行动后果，让智能体在低成本的虚拟经验中学习；反过来，智能体产生的交互轨迹也能帮助世界模型改进。然而，如果二者直接放在同一个闭环里测试，一旦任务失败，很难判断问题究竟来自行动选择，还是来自对环境状态变化的错误预测。

论文《Dual Exam》针对这一评测难题，设计了相互分离的双轨考试。研究重点不是简单比较哪个模型分数更高，而是先为智能体和世界模型分别建立可解释的证据，再观察这些单项能力是否足以支撑真正的协同。

核心要点

• 智能体轨道固定环境响应。 研究比较了10种配置，在物理、数字、社交和科学等领域的1088个项目上进行测试，并按15个报告类别分析行动选择表现。GPT 6 Astra以31.3的加权智能体指数排名靠前。
• 世界模型轨道固定动作干预。 该部分包含8个场景、400个案例，重点考察模型在给定动作后能否正确推进和保留与任务相关的状态。15种配置覆盖全部场景，其中GPT-Image-2的完整覆盖总体得分为21.7。
• 两个分数不能直接横向比较。 智能体指数和世界模型总体分数使用了不同任务与指标，排名只能在各自轨道内解读，不能据此判断某个系统整体更强。
• 闭环协同仍然困难。 一个由150个案例组成的耦合试点没有记录到任务成功。这并不等于所有智能体与世界模型组合都必然失败，但它明确提示：单项评测中的优秀表现尚不能推出持续交互中的成功。

意义与影响

Dual Exam的价值首先在于改变了评测问题的拆分方式。对智能体而言，准确理解图像、文本和场景规则，并不必然转化为正确行动；对世界模型而言，能够生成看似合理的后续画面，也不代表它保留了任务真正需要的物体、关系或状态变化。将动作选择与状态演化分开后，研究者可以更有针对性地定位错误来源。

这项工作也对“世界模型加智能体”这一常见叙事保持了克制。当前结果支持的是组件级能力存在明显不均衡，以及状态保持仍是重要瓶颈，而不是已经证明某种架构能够实现可靠的相互学习。未来评测需要进一步验证：独立轨道得分能否预测闭环任务成功，模型能否从长期交互中持续修正彼此，以及不同领域中的失败模式是否具有共性。

换言之，世界模型与多模态智能体的下一步竞争，可能不只是生成质量或单轮决策能力的竞争，而是能否在长期任务中保持一致、可用且与目标相关的内部状态。

来源：Hugging Face Daily Papers