WorldMemBench：视频世界模型的记忆能力，不能只看画面像不像

当视频生成模型能够持续构造更长、更具互动性的场景时，真正的难题已经不只是画面质量，而是这个世界能否记住自己的过去。角色离开镜头后，外貌是否保持一致？物体的位置和形状是否仍然可信？一个已经发生的事件，在镜头再次返回时是否留下正确的状态变化？

WorldMemBench 正是针对这些问题提出的系统性基准。它将“世界记忆”拆分为静态记忆和动态记忆两部分，并通过受控的镜头离开与多次重访轨迹，观察模型如何处理看不见的时间段。

核心评测内容包括：

• 人物记忆：检查人物身份与外观是否能够持续保留。
• 物体记忆：评估物体的视觉特征、位置关系和几何结构是否稳定。
• 环境记忆：考察场景内容与空间几何是否在离开后保持一致。
• 事件记忆：判断事件是否按预期推进，以及已经发生的状态是否能够持续存在。
• 辅助诊断：同时报告视频质量和镜头跟随准确度，帮助区分记忆问题与生成质量、控制能力问题。

该基准包含 260 个测试案例，并对 9 个具有代表性的模型进行了评估。其关键发现是：静态内容保持得好，并不能推出模型具备可靠的动态世界演化能力。模型可能重新生成一个“看起来相似”的人物或场景，却无法正确记住某个事件已经改变了环境状态。更值得注意的是，模型在第一次返回时表现尚可，但经过多次重访后，记忆退化会逐渐显现。

这种设计比单纯比较首帧和回访画面更接近交互式世界模型的实际需求。对于游戏、虚拟环境和长时视频生成而言，用户期待的不是每次回到场景都获得一张相似图片，而是一个能够持续积累历史、响应过去事件的世界。WorldMemBench 将外观一致性、几何一致性和事件状态放在同一评测框架中，也为研究者定位失败原因提供了更清晰的工具。

研究还报告了自动指标与人工判断之间的较好一致性，说明这套方法具备一定的可解释性。不过，基准本身主要回答“模型记住了多少、退化发生在哪里”，并不直接解决如何构建持久记忆。因此，它更重要的价值在于建立共同测试标准，推动视频世界模型从短期视觉连贯，走向长期、可交互且具有时间一致性的世界维护能力。

来源：Hugging Face Daily Papers