VFlash：让机器人视觉规划从逐坐标生成走向并行解码

在机器人和自动驾驶系统中，规划结果不一定要用语言表达。一个目标点、一组边界框，或一条未来运动轨迹，往往更直接地描述了“去哪里”和“如何移动”。但当视觉语言模型采用自回归方式生成这些结果时，坐标通常需要逐个 token 输出。规划越长、维度越高，推理成本就越容易累积。

英伟达研究团队提出的 VFlash，试图从视觉原语本身的结构入手解决这一问题。它的核心方法被称为 Flash Primitive Decoding：模型不再把每个坐标完全当作独立的下一个 token，而是根据原语类型、维度和长度，设计相应的预测布局，由一个轻量级 drafter 在一次前向传播中生成完整原语。

核心要点

• 联合预测坐标：点、边界框和轨迹具有明确的组织形式，VFlash 利用这种先验同时预测同一原语中的多个坐标。
• 适配不同规划对象：紧凑的边界框和较长、长度可变的轨迹采用不同布局，方法并非只针对单一输出格式。
• 不要求复制 token 序列：训练直接使用标注的视觉原语，并接受结构上有效的预测，不强制模型复现某个自回归模型的精确 token 顺序。
• 兼顾速度与空间精度：素材显示，VFlash 在评估的二维、三维机器人轨迹任务中持续降低预测误差；在三维点运动预测的初步单次 rollout 测量中，生成速度约为基线的 25 倍。

这一设计的关键判断是：对于空间规划而言，坐标是否构成准确、可用的几何结果，往往比它们是否严格遵循某条 token 序列更重要。换言之，VFlash 将训练目标从“复现序列”部分转向“满足结构并保持空间正确”。这也解释了为什么它能够减少逐坐标解码带来的计算开销。

在更接近实际应用的测试中，一个以 VFlash 规划结果为条件的 world action model，在四个 MolmoSpaces 任务套件上的平均成功率为 70.2%，基线为 62.6%。不过，素材同时将 25 倍速度表述为初步的单次 rollout 结果，因此不宜直接等同于所有部署场景中的端到端加速。

意义与影响

VFlash 展示了一条介于纯自回归生成和完全连续回归之间的路线：保留视觉语言模型对场景的理解能力，同时把具有规则结构的空间输出交给更高效的并行解码模块。对于需要频繁重规划的机器人系统，这种思路可能降低轨迹预测的延迟，并为更长或更高维的视觉计划留出计算空间。

它的价值也不只是“更快”。如果结构合法的预测不必与教师模型逐 token 对齐，视觉规划训练便有机会更直接地围绕几何误差和任务可用性展开。后续能否在更多机器人平台、复杂遮挡环境和完整闭环控制中保持优势，仍需要进一步验证。

来源：Hugging Face Daily Papers