导语
把一个可控的世界状态变成连贯、逼真的视频,是世界模型落地时绕不开的一步。Code World Model 2.0 将这一环节交给 Invoker-Render:输入结构代理、外观参考图和文本提示,让模型把几何或运动约束转化为视频画面。它既面向离线片段创作,也尝试支持实时交互式流式生成。
核心要点
- 同一接口,适配不同细节。 结构代理可以只是粗略布局,也可以包含精细的关节几何。模型声称能够在细节充分时遵循几何约束,在代理较粗时则生成合理的局部运动。例如,粗代理给出角色移动路径,模型补出自然步态;更细的代理则可约束肢体动作。输入细节因此可随交互需求调整。
- 离线与实时两种生成方式。 Invoker-Render 配有双向创作模型,以及采用因果生成的四步流式模型。两者共享结构代理、外观参考和语言条件,目标是在创作灵活性与低延迟之间提供不同选择。模型基于约 200 小时、经过对齐的多粒度数据训练。
- 渐进式蒸馏应对长序列漂移。 Progressive Forcing(ProForcing)先训练因果预测器,再用来自训练视频的历史记录,将其蒸馏为四步渲染器;之后训练转向连续使用模型自身生成的历史。这个过程旨在让少步推理适应真实滚动生成,减轻误差随历史累积的问题。配套流水线服务栈则用于支持流式推理。
意义与边界
传统视频生成往往依赖文本或图像描述来控制画面,而结构代理提供了更明确的空间与动作约束。对游戏、虚拟场景或驾驶模拟而言,这种接口有望让上游系统负责“世界状态”,视频模型负责“视觉呈现”,减少两者绑在一起设计的负担。更重要的是,代理精度可按场景选择:不必始终准备完整的精细几何,也能尝试获得符合运动逻辑的结果。
材料提到,实验覆盖多类代理、不同细节粒度和相机路径,并报告相较近期流式基线有稳定提升;团队还展示了一个持续 30 分钟的赛车生成演示,称车辆与场景保持视觉一致并跟随输入轨迹。不过,现有信息没有列出具体评测数值、硬件条件或更广泛场景下的失败情况。因此,“无限可控视频”更适合理解为研究目标,而不是已被证明的无限时长保证。后续仍需观察它在不同任务、运动突变和长时间交互中的可靠性。
评论
正在确认登录状态……
正在加载评论……