AgentGarten：让智能体在可编程世界中持续进化

导语

智能体能学会什么，很大程度上取决于它所处的世界。传统训练环境往往在两端之间取舍：规则和状态足够稳定的模拟器，视觉表现可能较为简单；画面逼真的生成式环境，又可能难以保证物理状态、交互逻辑和长期一致性。AgentGarten 的目标，正是把这两种能力放进同一套可扩展框架。

核心方案

• 模拟器负责“世界如何运行”：系统可以连接模拟器或游戏引擎，由后端维护持久化的世界状态，并执行以程序定义的交互规则。这样，物体、动作及其后果不只是视频中的视觉变化，而是由可追踪的环境逻辑驱动。
• 神经渲染器负责“智能体看到什么”：各类后端通过统一接口输出结构化条件，随后由共享神经渲染器生成视觉观测。新环境不必重新设计一套感知管线，降低了扩展不同世界的成本。
• Adversarial Forcing 改善时序渲染：研究团队将预训练视频模型适配到几何条件上，并通过精确回放让历史预填充过程保持可微。后续帧的损失可以反向影响此前观测的编码，同时引入真实数据的对抗监督，以提升视觉质量和连续性。
• 经验以“玩法手册”沉淀：智能体完成一轮交互后，会复盘经历并写成 playbook，供之后的智能体继承和修订。由此，训练不再只是重复试错，也包含跨轮次的经验传递。

实验与意义

在捉迷藏任务中，躲藏方到第 4 轮已经能够建造掩体，搜索方则在第 10 轮开始使用坡道。这些案例说明，智能体能够利用环境中的持续状态和累积经验，逐步形成更复杂的行为，而不是每一轮都从零开始探索。素材还指出，AgentGarten 在较少轮次的学习中就取得了明显的效率提升，但未提供完整的量化结果，因此不宜将其解读为对所有任务的普遍保证。

更重要的是，AgentGarten 把“写世界”和“训练智能体”连接起来：开发者可以通过代码定义新的规则和空间，再用同一套接口提供观测。对于需要长期规划、工具使用和社会互动的智能体而言，这种设计有望减少环境迁移成本，也便于研究者观察策略如何随经验演化。

不过，神经渲染带来的视觉逼真并不自动等于真实世界模拟。渲染延迟、长时段一致性、规则覆盖范围以及 playbook 中经验的可靠性，仍是后续需要验证的问题。AgentGarten 更像是一种基础设施方向：让可编程世界具备稳定的因果状态，同时为智能体提供更接近真实分布的感知界面。

来源：Hugging Face Daily Papers