L3G-World:用潜在3D高斯记忆实现实时无限世界生成
KAIST团队提出L3G-World,将带有VAE潜在特征的3D高斯记忆与视频扩散Transformer结合,在保持空间一致性的同时实现实时交互式世界生成。
阅读全文KAIST团队提出L3G-World,将带有VAE潜在特征的3D高斯记忆与视频扩散Transformer结合,在保持空间一致性的同时实现实时交互式世界生成。
阅读全文MLE-World 用一个经过微调的世界模型预测机器学习程序的运行结果,帮助研究代理减少昂贵的真实训练与评估。实验显示,它在终端输出预测和测试时扩展方面都带来明显收益。
阅读全文腾讯团队提出 Hy-Nomas,一个基于 8B 扩散骨干的开放式交互世界模型。它能够在多轮文字指令和连续镜头控制下生成可变长度视频,并利用缓存历史维持场景与动作后果的一致性。
阅读全文ThinkWorld提出Chain-of-Dynamics,将动作表示为连接当前状态与未来结果的动态链,并借助世界模型想象和强化学习利用无动作标注视频。该方法试图打通人类视频与机器人示范,提升VLA模型的跨任务、跨环境泛化能力。
阅读全文PhysEvolve提出一种由验证器驱动的自我进化框架,让视觉语言模型自行构造可执行物理世界,再借助确定性物理引擎生成并校验反事实任务。该方法重点提升模型对交互、因果和改变世界条件问题的理解。
阅读全文RynnWorld-Latent以RynnLAM提供的3D基础潜在动作作为跨具身接口,让人类交互视频、机器人示范和仿真数据能够共同训练可控视频世界模型。研究还通过数字遥操作和潜在动作合成生成训练数据,提升机器人策略学习效果。
阅读全文一篇视频世界模型综述提出“阅读、书写、共享、交互”四种操作,试图用统一视角连接视频理解、生成、统一模型与世界模型。文章强调,画面连贯并不等于潜在世界状态一致,真正的挑战在于记忆、因果、控制和长期演化。
阅读全文LaLa-World 将数值动作和视觉变化转写为自然语言条件,让同一个潜在世界模型能够联合学习仿真、机器人轨迹、图像与视频数据。研究显示,它在规划效率、跨域泛化和机器人策略初始化方面具有竞争力。
阅读全文FRED通过自蒸馏和历史观测上下文,让世界动作模型在单步去噪中获得更可靠的未来视频表征。论文显示,这种设计尤其改善了长时程、跨环境以及人类示范到机器人执行的任务表现。
阅读全文一个登录页面本身可能完全合法,但如果它出现在“查看订单”之后,就可能意味着界面被劫持。新研究提出LGWM,让世界模型直接预测下一屏的表示,用低延迟向量比较判断GUI智能体是否经历了异常转移。
阅读全文LM2LM尝试把“提出模型改进方案”训练成语言模型的一种能力。它用研究世界模型预测实验收益,再通过少量真实实验校准预测,减少强化学习中的昂贵试跑。
阅读全文WorldStream提出一种开放式3D世界模型:世界可以沿玩家前进方向持续扩展,语言指令能够作用于正在运行的环境,玩家访问过的区域及其改动也能被恢复。其关键在于分层规划、流式编译和持久化世界记录的结合。
阅读全文Ropedia W0尝试用人类与机器人第一视角数据,训练一个同时理解移动和操作的具身世界基础模型。其关键在于用相机位姿与投影骨架建立跨身体形态的统一表示。
阅读全文Matrix-Game 4.0 试图把视频生成模型接入真正的游戏执行框架:引擎负责状态与规则,模型负责将低多边形场景转化为连续的高质量画面。论文报告称,该系统可在单张 RTX 5090 上实现 480p、60 FPS 的交互式体验。
阅读全文研究团队提出Video-Point Model(VPM),让世界模型同时预测未来视频和场景点的三维运动轨迹。通过把跨摄像机一致的点轨迹纳入训练,模型试图解决多视角预测中的几何不一致问题,并进一步服务于机器人控制。
阅读全文JEPA正在从表征学习工具走向支持预测、规划与控制的潜在世界模型,但其内部状态缺少直观的人类解释接口。一篇最新观点文章提出“Ground–Structure–Verify–Act”四阶段框架,推动可解释性从读取信息转向理解潜在世界的运行方式。
阅读全文清华大学团队提出 Stateful Harness,将世界状态演化与视频渲染拆开处理,让交互式世界模型能够依据不可见状态执行持久规则。其在 WorldState-Bench 上将同一视频模型的双案例正确率提升至 92%。
阅读全文长时域视频世界模型容易因误差累积而逐渐漂移。Frechet Forcing不依赖教师模型或长视频,而是用自生成轨迹与真实数据统计约束模型的场景一致性和视觉真实感。
阅读全文PPMem 将墙面、地面和立面等场景结构表示为可持续更新的平面记忆,并将其用于后续视频生成。该方法试图解决视频世界模型在长序列、大幅视角变化下容易遗忘和失真的问题。
阅读全文VAST发布并开源实时世界模型EdenLive,主打参考输入、风格迁移与长时连续生成。官方称其在单张RTX 5090上以720P实现超过24FPS,并支持百毫秒级端到端交互延迟。
阅读全文Velox 提出一种无需重新训练的注意力路由方法,将历史视频记忆映射为空间化的视锥体切片,只让当前区域访问更相关的上下文。在保持导航评测表现接近密集注意力基线的同时,它显著降低了长序列生成的注意力开销。
阅读全文