Duo v1：让世界模型同时理解意图与行动

导语

传统世界模型往往把重点放在对物理环境的模拟上：模型观察场景、预测变化，再由外部控制器负责推理和决策。Duo v1 背后的团队提出了另一种思路——如果“智能”本身也是世界的一部分，那么模型就不应只生成环境变化，还要同时建模自身的意图、参与时机与外在表达。

这套思路被称为 Reciprocal World Model（互惠世界模型，RWM）。基于 RWM，Duo v1 被设计成一个能够持续接收音频、视频和文本，并实时做出回应的全双工世界模型。这里的“全双工”并非简单的问答式轮流交互，而是允许模型在用户说话时继续感知、判断是否参与，并处理自然发生的插话和中断。

核心设计

• 把意图和实现分成两个相互协作的部分。 Intent 负责理解交互、推理下一步行动以及判断何时参与；Realization 则负责把这些决策转化为连贯的音频和视觉行为。前者对应“想做什么”，后者对应“如何表现出来”。
• 用自回归建模处理连续交互。 Duo v1 不把自回归模型仅仅当作扩散模型的指令理解模块，而是让它持续参与交互推理和参与决策。这一选择更贴近实时对话中不断到来的输入与逐步形成的回应。
• 在统一时间线上同步两个模块。 系统为不同数据块构造专属条件，并设置同步 token，让 Intent 与 Realization 在同一时间轴上协作。模块内部及模块之间的注意力掩码则限制因果关系，避免模型访问未来输入。
• 通过双重 rollout 蒸馏缓解分布偏移。 训练过程中，Intent 学习自回归生成的意图 token，Realization 则使用合成的音视频历史。这样做是为了让模型在推理时面对自身生成的中间结果和历史状态时，仍能保持稳定。

意义与边界

Duo v1 的价值不只在于把语音、视频和文本放在一起处理，更在于它重新定义了世界模型的建模对象：世界不仅包括外部物理现实，也包括观察者的认知和行动。若这一方向能够持续成熟，未来的交互系统可能不再依赖明显的“听完—思考—回答”流水线，而是更像一个始终在线、能够自行判断参与时机的协作者。

论文摘要还提到，Duo v1 的应用设想包括分享现实物体、改变虚拟场景、引导助手以及进行音视频游戏，并减少对鼠标和键盘的依赖。不过，从现有材料看，这仍是项目展示和后续探索的方向，不能据此推断其已经解决了实时性、可靠性或复杂环境泛化问题。Duo v1 更像是一次架构层面的起点：它把“理解意图”和“生成行为”放回同一条连续交互链路，下一步仍取决于公开模型、评测结果和真实使用中的稳定性。

Hugging Face Daily Papers