LOCI:让视频世界模型记住“回到原地时看见了什么”
LOCI 提出一种结合键值缓存与循环线性记忆的空间记忆架构,借助相机投影几何改善视频世界模型对重复场景的回忆。实验显示,它在保持内容细节的同时降低了内存开销,并支持长视频的恒定内存流式处理。
阅读全文LOCI 提出一种结合键值缓存与循环线性记忆的空间记忆架构,借助相机投影几何改善视频世界模型对重复场景的回忆。实验显示,它在保持内容细节的同时降低了内存开销,并支持长视频的恒定内存流式处理。
阅读全文NVIDIA 团队提出 Physis-Lang,将描述实体、因果、交互和时间演化的物理语言,作为视频世界模型从数据整理到生成环节的统一表示。该方法通过断言级评估和语言引导检索,改善生成视频的物理合理性。
阅读全文EVO-WAM提出一套“生成—验证—改进”闭环,让世界动作模型利用自身生成的视频与动作轨迹适应新任务,无需额外收集专家示范或在外部环境中逐一执行候选动作。
阅读全文一项针对世界动作模型的实证研究发现,推理阶段不必完整生成未来视频,但完全移除未来表征也会损害模型的泛化能力。真正重要的,可能是动作决策开始前对未来信息的准备过程。
阅读全文首尔大学团队提出AnisoWM,通过可学习的非各向同性表示几何,让潜空间中的距离更贴近任务目标。在四个视觉控制环境中,该方法均取得高于LeWorldModel的规划成功率。
阅读全文EditWorld 面向可交互世界中的持续生成与修改,允许用户在生成过程中动态输入编辑指令和参考图像。论文通过门控因果注意力、稀疏上下文和专门评测集,提升了世界模型对长期编辑任务的支持能力。
阅读全文WorldPlay2 面向实时交互世界模型中的两大难题:控制形式复杂,以及长时滚动中的上下文膨胀与一致性下降。论文通过混合控制接口、共享记忆令牌和 Stable Forcing 蒸馏策略,试图在响应速度与长期稳定性之间取得平衡。
阅读全文D-JEPA指出,世界模型预测得准,并不意味着潜在空间中的“更近”就代表动作更好。它利用候选未来的实际执行结果,校准模型在决策关键区域的几何关系。
阅读全文InternW0-Δ试图把视觉动态、场景语义、几何运动先验与动作生成整合进同一个世界动作模型,并以超过2万小时的异构开放数据进行预训练。论文称,该模型在仿真基准和真实机器人平台上均取得了优于既有方法的表现。
阅读全文一项新研究提出 Agent-Editing World Model,将世界模型的重点从模拟工具返回结果转向判断行动质量、修正错误推理,并利用真实环境反馈推进长程任务。
阅读全文一项新研究把认知科学中的物体恒存任务引入视频生成模型训练,推出包含150类任务、150万样本的数据基础设施WROP。实验显示,经过训练的16B模型在连续生成模型中排名第一,但这仍主要反映特定测试集上的能力。
阅读全文HappyWorld-Bench提出了一套覆盖视频、空间与具身系统的统一评测框架,重点检验世界模型在探索、交互和修改后的状态一致性与行为响应能力。结果显示,当前系统仍普遍存在长期一致性不足、编辑执行偏差和多步状态保持困难。
阅读全文上海人工智能实验室提出 InternW0,将视频动态预测与连续机器人控制结合起来,面向部分观测、异步处理和接触丰富的现实任务。该模型在实验室科学流程与定量移液等任务中进行了验证。
阅读全文腾讯ARC等团队提出几何原生自动编码器GAE,将几何基础模型特征压缩为可生成的共享潜空间。该表示可同时解码外观、深度、相机和点云,为视频生成引入跨视角一致性。
阅读全文腾讯ARC提出WorldCrafter,通过可按摄像机视角查询的隐式3D感知记忆,改善视频世界模型在长时间、多视角探索中的一致性与镜头控制。
阅读全文JEPA-Anything尝试把同一个预测核心用于生物、天气、分子、控制和物理系统,并从模型隐空间中提取可分析的因子。报告显示,它在多项基准上改善了预测结果,但距离真正的“统一世界模型”仍很遥远。
阅读全文JEPA-Anything提出正交预测因子分解,将视觉、生物、临床、控制、分子动力学、物理场和天气等任务纳入同一套世界模型框架。论文称,该方法在多项动力学预测、干预推断和长时程滚动任务中优于匹配的JEPA基线。
阅读全文Zing-0.5 是一个面向交互体验的 5B 自回归世界模型,支持键盘操作与在线文本指令的联合控制。它在 832×480 分辨率下实现 24 FPS 推理,并通过事件级训练提升连续生成的一致性。
阅读全文Pelican-Sim 1.0 是一个面向具身智能的通用世界模型模拟器,尝试用统一动作空间预测机器人执行动作后的未来观测。通过动作视频注入、稀疏 MoE 和快速 rollout,它在多项机器人基准与下游任务中取得明显提升。
阅读全文Recursive Code World Models提出一种递归式代码世界模型,让视觉语言编码代理从单张参考图像出发,以“整体—局部—整体”的循环逐步构建复杂3D世界。该方法试图在细节还原与全局空间关系之间取得更好平衡。
阅读全文