用《杀戮尖塔》检验智能体的长期战略能力：SpireBench揭示模型为何后程失速

导语

大语言模型已经能够调用工具、拆解任务并连续执行操作，但“能完成一连串动作”并不等于“能在长周期中做出好决策”。arXiv论文提出的SpireBench，选择商业卡牌构筑游戏《杀戮尖塔》（Slay the Spire）作为测试场：玩家必须在地图路线、卡牌、遗物、战斗和休息之间持续取舍，早期选择会在很久之后才显现后果。

核心要点

• 把完整游戏纳入评测。 研究团队让模型接触原版游戏的完整流程，而不是只处理孤立战斗或简化回合，并在最高难度下比较20个大语言模型、启发式基线和人类玩家表现。
• 前期不弱，后程拉开差距。 最强模型在第一幕的通关表现可以达到专家玩家的相近水平，也超过启发式方法，并大致匹配普通玩家。但随着一局游戏延长，模型与专家之间的差距持续扩大。
• 战斗质量是重要分水岭。 强弱模型的差异，很大程度上体现在每一场战斗如何处理资源、伤害和风险，而不只是地图路线选择。模型往往能理解局部目标，却难以把多个局部决策组织成稳定的长期策略。
• 风险偏好过于保守。 研究观察到，各类模型普遍倾向于保留生命值，而不是在可控风险下用生命换取更强的卡组和成长机会。这种策略短期看似安全，却可能让后续战斗缺乏足够能力。
• 记忆未能带来可靠进步。 对游戏术语进行全面且自洽的改名后，模型表现出现变化，说明已有游戏知识参与了决策。另一方面，模型写入跨局记忆后并没有稳定变强；这些记忆常常包含错误判断，并进一步强化谨慎倾向。

意义与影响

SpireBench的价值不只是给模型增加一款游戏，而是提供了一种拆解长期智能体失败原因的办法。长局环境把知识、即时推理、风险评估、资源管理和运气放在同一条决策链上，研究者因此可以观察模型究竟是在单场战斗中失误，还是在更早阶段做出了会持续放大的错误选择。

这项工作也提醒我们，短任务或单回合基准可能高估智能体的战略能力。模型能够生成看起来合理的解释，并不意味着它能承担延迟反馈：一次保守的路线选择，可能要到数十个决策之后才暴露代价。对未来评测而言，除了最终胜率，还应记录不同阶段的成功率、战斗级决策和跨局经验是否真正有效。

从研究结论看，提升长期智能体并不只是扩大模型规模或增加上下文。更关键的问题包括：如何校准风险与收益，如何把局部战斗经验抽象成可迁移策略，以及如何过滤错误记忆。SpireBench目前展示的是一个仍未饱和的测试空间，也为定位这些能力缺口提供了具体入口。

来源：arXiv