WM^MLLM:把世界状态从生成器中“拿出来”
WM^MLLM尝试让多模态大语言模型负责规划和校验,把可编辑的世界状态保存在全景图及版本记录中。它要解决的核心问题,是用户走开再返回时场景变样、先前编辑无法延续。
阅读全文WM^MLLM尝试让多模态大语言模型负责规划和校验,把可编辑的世界状态保存在全景图及版本记录中。它要解决的核心问题,是用户走开再返回时场景变样、先前编辑无法延续。
阅读全文画面逼真,不代表世界模型准确理解了动作会带来什么变化。AFFECT通过学习动作扰动与视觉变化之间的对应关系,提升模型对机器人操作结果的预测能力。
阅读全文Code World Model 2.0 的 Invoker-Render 将结构代理、外观参考与文本指令结合,兼顾离线视频创作和实时流式生成。其 Progressive Forcing 训练流程试图缓解少步推理带来的画质与长时漂移问题。
阅读全文BirdDreams提出一种联合生成第一视角驾驶视频与鸟瞰视角视频的世界模型,将场景布局纳入未来预测,并借助BEV实现更直接的自车轨迹控制。
阅读全文WorldDraft 将4D世界构建与视频生成拆开,系统检验视频模型能否在遵守运动和镜头轨迹的同时,准确实现文本指定的外观。结果显示,结构保持与外观对齐之间仍存在明显张力。
阅读全文Duo v1 提出“互惠世界模型”,将智能体的意图推理与音视频行为生成放进同一套实时交互框架。它试图让模型不只是观察世界,还能持续参与、回应并处理打断。
阅读全文ProTEUS 将序列、进化与结构信息整合到统一表示中,用突变级预测和实验反馈辅助蛋白质定向进化。论文称,该系统在两个多目标工程项目中获得了活性超过野生型十倍的变体。
阅读全文一项基于 ARC-AGI-3 的研究,把世界模型在测试时学习游戏机制的问题,转化为可量化的“暴露次数”问题。结果显示,持续更新参数的模型能在有限交互中掌握多数新机制,并进一步提升智能体的闭环探索效率。
阅读全文WorldFoundry 试图把“看起来真实”的视觉生成,与能够持续建模状态、响应行动并预测后果的世界模型区分开来。该开源基础设施覆盖视频、3D/4D、具身行动和交互式系统,强调执行过程与评测证据的可追溯性。
阅读全文世界模型并未失去技术价值,但资本市场已经结束了“见概念就追”的阶段。融资门槛上升后,真正拥有研究积累、技术成果或资源优势的团队,成为少数仍能顺利融资的项目。
阅读全文DreamFree提出一种无想象式世界动作模型:不再反复生成未来视频,而是让视觉编码器直接从当前画面预测视频模型的未来表征。该方法在提升控制效果的同时,将一套14B视频骨干推理速度推进到11Hz。
阅读全文由电商3D渲染技术转型而来的Physicl,正将高保真数字环境用于机器人和物理AI训练。公司推出Studio,帮助开发者按需生成包含复杂边缘情况的合成数据。
阅读全文GameVerse 是一个面向长时程交互式世界建模的分钟级游戏视频数据集,试图解决现有模型在持续生成中容易失去场景一致性的问题。它不仅扩大了视频规模,还通过稳定相机轨迹和事件级描述,为模型提供更适合长期推演的训练信号。
阅读全文NVIDIA 为 Cosmos 3 Nano 发布四款开放权重模型,覆盖自动驾驶多传感器生成、仿真渲染和双臂机器人动作预测。它们试图让世界模型从生成视频进一步走向可持续交互。
阅读全文PrimeSim 将动作条件视频生成器改造成机器人世界模型模拟器,重点解决动作执行、多视角一致性和长时滚动中的误差累积问题。该模型在仿真环境中支持策略优化,但尚未完成真实机器人部署验证。
阅读全文WorldFlow 将未来视频生成与查询式三维轨迹预测结合起来,用统一模型显式建模物体的空间运动。基于 144 万个仿真和真实世界样本的训练结果显示,该方法在多个评测集合上取得了较低的轨迹预测误差。
阅读全文Wizard 将角色骨骼、场景几何与显式游戏状态引入视频世界模型,使智能体能够实时控制陌生角色的复杂动作,并动态修改虚拟环境。该系统在多样化场景和角色上实现零样本泛化,目标是让玩家拥有更自由的世界构建与交互能力。
阅读全文以色列初创公司42AI宣布完成6250万美元种子融资,并推出一套试图预测个人决策概率的“行为世界模型”。该系统目前主要服务金融经纪商,但其数据使用和潜在利益冲突仍值得关注。
阅读全文传统智能体测试时扩展往往需要复制环境,才能并行执行多条候选轨迹。论文提出 Agentic World Modeling,让模拟器通过只读接口获取证据,再计算假设动作后的观察结果,从而在共享且不可重置的环境中安全探索。
阅读全文清华姚期智、袁洋团队提出代数世界模型(AWM),尝试让AI从交互观察中提炼规则,并通过形式化证明判断任务是否可行。它展示了世界模型从“记录现象”走向“理解结构”的一种路径。
阅读全文