Velox:用空间记忆加速长时世界模型生成
Velox 提出一种无需重新训练的注意力路由方法,将历史视频记忆映射为空间化的视锥体切片,只让当前区域访问更相关的上下文。在保持导航评测表现接近密集注意力基线的同时,它显著降低了长序列生成的注意力开销。
阅读全文Velox 提出一种无需重新训练的注意力路由方法,将历史视频记忆映射为空间化的视锥体切片,只让当前区域访问更相关的上下文。在保持导航评测表现接近密集注意力基线的同时,它显著降低了长序列生成的注意力开销。
阅读全文RAR 针对交互式世界模型中的“时间速率耦合”问题,提出可调节生成速率的 Rollout 框架。它通过 Stride-RoPE 和多步长视频采样,实现多速率生成、未见速率泛化,以及不中断历史的在线切换。
阅读全文WATCH提出一种跨视频预训练方法:让模型根据一段人类示范的视频与动作,预测另一段任务配对示范中的动作和未来画面。研究表明,仅使用可规模化采集的人-人示范,也能帮助模型学习跨场景、跨具身的可迁移交互表示。
阅读全文腾讯 ARC Lab 提出 Multics,通过玩家、群组和全局三级通信,缓解多玩家世界模型中的计算扩展与信息干扰问题。该方法还能依据摄像机轨迹动态组织玩家,并支持从 4 人训练扩展到更多玩家推理。
阅读全文WOVEN 将空间、具身、物理与时间推理统一为“视觉转移推理”,并用结构化生成视频数据训练这一共享能力。实验显示,少量训练样本也能为多个外部任务带来迁移收益。
阅读全文RSI-Anything 将预测式世界模型引入递归自我改进,让智能体根据反馈持续更新策略、工作流与模型。论文在代码修复、GUI 操作和科学实验规划等任务中展示了跨领域效果。
阅读全文华为诺亚方舟实验室联合UCL等团队推出Memento 3,在ARC-AGI-3的25款游戏、183个关卡中取得满分。它不改动大模型参数,而是通过规则手册和可执行世界模型持续修正策略。
阅读全文曾因训练集群争议被字节跳动索赔的实习研究员田柯宇,两年后创办隐身公司并获得近3000万美元融资,投后估值达到2亿美元。其团队尚未公布产品,核心方向是世界模型。
阅读全文Trace2Env提出一种无需重建原系统的语言世界建模方法:利用历史交互轨迹,构建能够持续维护状态、模拟环境反馈的世界模型代理。它为智能体训练、评测和工具仿真提供了新的实现路径。
阅读全文DreamTrue 面向多视角、跨本体机器人视频预测,试图解决动作条件不准和失败交互样本不足两大问题。该方法通过几何校准、反事实后训练和具身视频奖励模型,提升预测结果的动作一致性与物理合理性。
阅读全文WorldGuide 将程序化视频生成建模为一个闭环任务执行过程:模型根据当前视觉状态规划下一步原子动作,生成对应视频,再依据结果继续执行或结束任务。研究团队同时推出包含约 5.9 万段分步标注视频的 WorldGuide Bench。
阅读全文Meta 团队提出 RoboJEPA,用覆盖 12 种机器人形态的真实数据训练潜在世界模型,并研究其能力如何随算力扩展。结果显示,潜在想象误差与真实机器人规划表现之间存在稳定关联。
阅读全文WorldSonus 面向交互式世界模型,将视频转化为可实时生成、可动态控制并具有空间方向感的立体声音。论文报告其实时因子达到 0.41,并在开放域视频到音频任务上展现出较强泛化能力。
阅读全文一项新基准不再只凭视觉观感评价视频世界模型,而是直接测量其中可观察的物理关系。对8个视频生成模型的测试显示,当前模型在跨物理领域的一致性仍然有限。
阅读全文HLA-WM 将几何引导的历史检索与递归线性注意力结合,在不增加训练的情况下改善长时视频生成中的场景回访一致性与相机控制,同时显著降低历史状态的存储成本。
阅读全文RealtimeWAM通过一步动作生成与跨专家异步流水线,针对世界动作模型的两类推理瓶颈进行优化。论文称其在多项机器人基准上实现接近无损的准确率,并在H100上取得最高25倍端到端加速。
阅读全文JEPA-TTT 为预训练 JEPA 世界模型加入持续测试时训练,使智能体能够在环境动力学发生变化后,利用自身观测逐步修正潜在预测器。实验显示,这种不依赖在线奖励的适应方式显著提升了规划表现。
阅读全文视频世界模型依赖不断增长的 KV Cache 保持长时序一致性,但低比特量化可能引发严重闪烁。QuantWM 从注意力偏移出发,提出无需训练的 2 比特量化方案。
阅读全文ProWAM 为世界动作模型引入有序视觉子目标,让机器人不必生成完整视频,也能获得分阶段的行动指引。论文报告显示,该方法在多个仿真基准上提升了长程任务与分布外场景的表现。
阅读全文HelixWorld 将空间立体声纳入实时交互式世界模型,使视觉场景与声音随用户的视角和动作同步变化。论文还提出流式蒸馏方案与 HelixBench,用于评估声音是否真正跟随相机运动。
阅读全文