返回文章列表

WM^MLLM:把世界状态从生成器中“拿出来”

阅读约 2 分钟

视频世界模型的一个难题,不只是生成一段看起来连贯的画面,而是让场景在用户离开后仍保持原样。若每次转向或返回都由生成器重新“想象”环境,先前改过的物体可能漂移,甚至消失。WM^MLLM提出另一种组织方式:不把完整世界只放在生成器的上下文里,而是将其保存为带版本历史的全景状态。

核心思路:先维护状态,再生成视图

用户可以从单张图像开始探索场景,要求移动到新位置、通过文字或框选编辑物体、摆放主体,或改变光照、天气和季节。系统把请求交给多模态大语言模型(MLLM),由它将指令拆成对世界状态的操作,确定局部修改写入的位置,并检查候选结果。图像生成器负责提出视图,视频则用于呈现这些视图;它们不再独自承担保存整个世界的职责。

这一设计的关键不是让生成模型更会“记住”,而是把记忆变成外部、可追溯的状态。每次请求都基于上一次的结果继续修改;返回同一位置且使用同一版本时,系统按设计复现先前视图。局部编辑也被约束在指定区域内,区域之外的全景像素保持不变。这些性质是系统结构带来的保证,而不只是希望生成模型碰巧做到。

论文报告了什么

在MBench-A上,作者将WM^MLLM与六个世界模型基线比较,称其在四项环境恢复指标上的平均表现最高;其中Epipolar指标为91.5,对照方法的报告范围为0.1至74.0。相机往返任务的完成率为85.3%,其他方法最高为50.9%。在112项盲评局部编辑中,生成后再选择写入区域的做法,将完成率从34.8%提高到83.0%。摘要还报告,在WBench与MBench-A的258项测试中,46次回访都恢复了先前视图;这些是论文给出的评测结果,不等同于对所有场景的普遍保证。

意义与尚待回答的问题

把世界状态从生成器中分离,可能让可持续编辑的空间内容更容易追踪、回退和复现,也为多轮交互提供了明确的状态基础。但全景表示是否适用于大型、多房间或动态三维世界,素材明确指出仍是开放问题。当前材料也没有展开系统成本、复杂遮挡或长期动态变化的处理细节。因此,WM^MLLM的重要价值在于展示一种架构方向:生成模型负责产出,显式状态负责保持连续性;其适用边界仍需更广泛的测试。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章