SWE-Game：代码智能体距离真正做出好游戏还有多远？

导语

让代码智能体写出一个能运行的程序，和让它做出一款符合设计意图、真正可玩的游戏，并不是同一件事。游戏同时涉及输入响应、状态管理、碰撞、关卡流程、反馈表现和视觉呈现，任何一个环节遗漏，都可能让“看起来完成”的项目无法正常游玩。

Hugging Face Daily Papers 收录的 SWE-Game，正是针对这一问题设计的基准。它不只检查代码是否能够启动，而是尝试回答：智能体能否理解游戏需求，复现关键机制，修复已有问题，并用可验证的方式证明自己的实现有效？

核心要点

• 任务覆盖完整开发链路。 基准包含 247 项任务，建立在 41 款可执行的 Godot 参考游戏之上，涵盖 2D 和 3D、13 类玩法。五种任务分别是根据简短描述开发、依据游戏设计文档实现、补全代码骨架、修复 83 个人工注入故障，以及将项目从 Godot 移植到 Unity。
• 评测不依赖单一演示视频。 研究者提供统一的工具接口，让评测方能够驱动游戏、读取运行时状态并执行探针。评分结合引擎状态检查、经过认证的参考输入回放，以及智能体自行录制的功能展示，从而分别观察机制正确性、可玩性和修复后的行为保持情况。
• 视觉质量单独评估。 游戏画面和呈现效果通过针对具体游戏设计的视觉语言模型评分规则进行判断，避免把“玩法正确”和“画面好看”混为一谈。
• 能力仍未达到稳定交付水平。 在六个模型的比较中，Opus5 在五类任务的综合分数均居首。但在三类构建任务中，最高综合成绩仍低于 60 分；其中 Brief-to-Game 的最高成绩为 50.38。研究者审阅结果认为，需求遗漏和游戏逻辑错误是最常见的问题。
• 可执行验证更接近实际行为。 在 100 款智能体制作游戏的人类标注行为上，运行时检查的平衡准确率为 92.59%，高于基于视频的视觉语言模型评审的 78.41%。对于 200 段游戏片段，基于规则的视觉评分与人类评价的 Spearman 相关系数达到 0.829。

意义与影响

SWE-Game 的价值不只是增加了一个游戏编程排行榜，更在于展示了代码智能体评测应如何从“代码生成”走向“软件行为验证”。游戏是一个很有代表性的压力测试场景：需求通常以自然语言表达，结果需要通过交互体现，错误还可能只在特定操作序列下出现。单看源代码或一段演示视频，都容易漏掉这类问题。

这项工作也提醒开发者，当前智能体的瓶颈并不只是不会写代码，而是难以持续追踪完整需求，并把多个相互关联的状态和规则组织起来。未来更可靠的游戏开发智能体，除了生成脚本，还需要主动建立测试、覆盖边界情况，并用运行时证据确认修复没有破坏原有功能。

对基准设计者而言，SWE-Game 提供了一个可推广的方向：将自动化状态检查、可重复输入和视觉评价结合起来。对使用者而言，现阶段更现实的定位仍是让智能体承担原型制作、局部功能实现和故障修复，而不是在没有人工测试的情况下独立交付完整游戏。

来源：Hugging Face Daily Papers