WorldSculpt:让单物体 3D 生成先验构建拥挤世界
WorldSculpt 探索将单物体 3D 生成模型迁移到多视角视频,用于重建包含数百个物体的可组合场景。其核心思路是在共享世界坐标系中分别生成物体网格,并借助多视角观测补足严重遮挡下的缺失几何。
阅读全文WorldSculpt 探索将单物体 3D 生成模型迁移到多视角视频,用于重建包含数百个物体的可组合场景。其核心思路是在共享世界坐标系中分别生成物体网格,并借助多视角观测补足严重遮挡下的缺失几何。
阅读全文光象科技与清华团队提出的 Phi-WM 1.0 ActEffect,不让世界模型参与机器人在线执行,而是用它在训练阶段评估动作后果。测试显示,这种“训练时思考、部署时轻装”的路线,在多项机器人操作基准上取得了较好表现。
阅读全文Puffin-World尝试用一个统一的多模态架构,同时完成物理理解、空间模拟、3D世界生成与重建。它将重力与纬度、深度和图像作为原生世界状态,并通过统一相机表示支持灵活视角运动。
阅读全文SolarWM试图解决视频世界模型研究中的数据异构、骨干网络适配和长时推理难题。项目通过统一数据契约、原生骨干适配和三阶段训练流程,让仅使用5秒训练片段的模型支持分钟乃至小时级交互式生成。
阅读全文ZimaBlue提出一套从第一视角视频学习世界动作模型的训练框架,试图缓解机器人轨迹数据昂贵、稀缺且多样性不足的问题。研究还通过Slow-Fast异步架构,在保持模型容量的同时提升实时控制能力。
阅读全文H3-World 基于 33B MiniMax-H3 视频生成器,将自然语言控制扩展为带有时间定位的角色与镜头控制。它不新增专用动作模块,而是通过轻量 LoRA 适配,把已有的视频语义能力转化为交互式世界控制。
阅读全文World Labs推出世界模型 Atlas,试图把图像、视频、文本、相机位姿和深度信息统一到同一个空间上下文中。它不仅能生成受控视角内容,还瞄准3D重建和机器人 Real-to-Sim。
阅读全文视频生成模型可以拍出看似合理的未来,但这并不意味着它理解了同一条件下可能发生的多种结果。PAWBench 将评测重点从单条视频的 plausibility 推向行为分布是否正确。
阅读全文新论文提出,世界模型的扩展不应只依赖更多网络视频,还需要能持续产生可靠奖励信号的数据引擎。游戏引擎提供的碰撞、物理和可导航性检查,或能为空间智能的强化学习后训练补上关键一环。
阅读全文GameWAM 将世界模型与行动策略合并为一个闭环系统,能够根据游戏画面预测未来状态,并生成可执行的键鼠轨迹。它还探索了长时程控制和生成式动作模型中的低频偏置问题。
阅读全文Code World Model 试图解决视频世界模型难以维持长期状态和规则一致性的问题:由编码智能体管理世界状态,再由视频模型负责视觉呈现。
阅读全文一项系统性综述以传统模拟器的八项能力为标尺,评估世界模型从“生成看起来合理的世界”走向“可计算、可控制、可复现仿真”的进展与缺口。研究指出,状态反馈和长时程稳定性仍是关键短板。
阅读全文EchoWM提出一种可进入式全模态世界模型,用户持续改变观察轨迹时,系统能够同步生成720p视频、环境音、音乐与语音。其核心是把离散指令和连续姿态统一到共享的相对6自由度轨迹中,并兼顾第一人称与第三人称场景。
阅读全文ReWorld 将短期动作控制与长期场景记忆分开训练,并在推理时通过有限 KV 缓存和基于位姿的地标检索控制计算量。论文还通过统一动作尺度、回环轨迹和蒸馏技术,让同一模型兼顾高质量生成与实时交互。
阅读全文ForgeWM提出一套渐进式因果训练方案,将双向动作条件视频生成器转化为适用于交互游戏的少步世界模型。它在降低推理延迟的同时,试图保持键盘、鼠标和手柄动作与视频演化的一致性。
阅读全文WorldRover 提出一套基于虚幻引擎的合成数据引擎,将长时探索视频与深度、轨迹、光流和三维点跟踪等标注同步生成。它试图为需要持续建模、记忆和交互的世界模型提供更完整的训练数据。
阅读全文StateFlow 提出一种以“持久3D世界状态”为核心的生成式预演框架,用于电影、游戏、建筑和城市设计等场景。它不再把视频一次性生成完,而是先构建可编辑世界,再围绕状态演化和相机访问进行迭代。
阅读全文视频世界模型的问题不只在于“看起来像”,更在于长时间滚动后会不会偏离真实状态。WorldCycle 提出用可逆动作循环作为无需标注的监督信号,把“能否回到起点”变成训练目标。
阅读全文MiniWorld 试图把视频世界模型的训练门槛从“依赖大型预训练模型与复杂后训练”拉回到可复现的端到端流程。它面向具身智能与交互式模拟,强调因果流式推理、有限算力和开放代码。
阅读全文WorldExam 提出一套面向可控视频世界模型的分层诊断基准,重点不只看画面质量和指令完成度,还要检验模型是否能根据场景状态产生合理反应。
阅读全文