WorldWeaver：让多智能体视频生成拥有共享世界状态

导语

多智能体世界模型的难点，不只是“下一帧看起来像真的”，而是多个角色从不同视角观察同一个环境时，世界本身不能随镜头切换而随意改变。Hugging Face Daily Papers 收录的论文《Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers》提出 WorldWeaver（W²），试图为流式视频扩散模型加入一种可持续更新的共享记忆：世界状态寄存器。

核心要点

• 从画面历史转向显式状态：传统自回归视频扩散管线通常把过去生成的观察帧作为条件输入。这样能维持一定短期连贯性，但在多智能体、多视角场景中，很难保证“同一个世界”的状态被稳定保存。
• 引入跨智能体世界状态寄存器：WorldWeaver 使用可学习 token 来存储共享世界信息，同时跟踪各个智能体的状态。这些寄存器会在每个生成片段之后动态更新，成为后续生成的状态基础。
• 多源监督约束寄存器：论文提到，寄存器的训练信号覆盖个体智能体状态、全局状态视角（包括鸟瞰视角）以及场景文本。这意味着模型并非只靠像素续写，而是被引导去学习更抽象的环境表示。
• Mixture-of-Transformers 架构：作者进一步将世界状态建模与视觉帧建模使用不同权重处理，避免所有任务都压在同一套 Transformer 参数上，从结构上区分“理解状态”和“生成画面”。
• 实验场景聚焦 Minecraft：论文在双智能体 Minecraft 视频生成任务中进行实验，结果显示显式世界状态建模有助于提升逻辑一致性和生成质量。

意义与影响

WorldWeaver 的价值在于，它把世界模型中的“状态”从隐含在视频上下文里的副产品，提升为模型架构中的一等公民。对于多智能体交互、多人协作模拟、具身智能训练环境和游戏式生成世界来说，这类设计可能比单纯拉长上下文更可靠。

当然，素材目前披露的信息主要来自摘要与论文页面，公开描述集中在方法框架和 Minecraft 实验结论上，尚不足以判断其在更复杂开放世界、更多智能体数量或真实场景视频中的泛化能力。但方向本身很清晰：未来的视频世界模型如果要支持长期交互，就必须维护一个跨视角、跨角色、可更新的内部世界状态，而不只是继续生成看似连续的画面。

来源：Hugging Face Daily Papers