返回文章列表

VSpark:让视觉语言动作模型更快生成机器人动作

阅读约 2 分钟

视觉语言动作模型(VLA)把视觉与语言输入转化为机器人动作,常以自回归方式逐个生成动作 token。每一步都要等待模型推理完成,因此生成速度会影响控制环路的响应效率。VSpark 探索把投机解码用于这类模型:由轻量草稿模型先提出一段候选动作,再由原有 VLA 一次性检查,只有符合主模型预测的部分才被接受。这样有望减少主模型逐 token 推理的次数,同时不改变其解码结果。

核心设计

投机解码在语言模型中已有应用,但直接迁移到机器人控制并不简单。动作 token 与实际运动并非一一对应:不同 token 可能表达相近的动作。于是,草稿即使在运动意义上接近目标,只要 token 不同,也可能无法通过严格验证,导致加速收益受限。VSpark 围绕这一问题做了三项设计:

  • 校准动作噪声下的 rollout。 收集训练轨迹时加入经过校准的动作噪声,让草稿模型接触更广泛的机器人状态,降低其只适应单一、理想轨迹的风险。
  • 对齐内部特征。 训练目标不只关注草稿模型是否猜中输出 token,也要求其内部特征贴近 VLA 的隐藏特征,帮助草稿更好地模拟主模型的判断过程。
  • 复用续接结果。 当主模型拒绝某段草稿时,验证过程中已经算出的预测并不全部丢弃,而可作为下一轮验证的候选,减少重复计算。

结果与意义

论文在采用不同动作 tokenizer 的四种 VLA、以及四项机器人操作基准上评估 VSpark,报告的加速幅度为 1.28 至 2.10 倍,并称解码保持无损。这里的重点不只是让小模型“猜得更准”,还包括利用验证阶段已经完成的计算。三项设计分别面向状态覆盖、模型协同和计算复用,构成一套针对 VLA 推理的优化方案。

对具身智能系统而言,更快的动作生成可能为实时控制留出更多计算空间,但加速数字本身并不能说明所有机器人、任务和硬件都能获得相同收益。现有摘要没有给出各模型的具体延迟、硬件条件或分项消融结果,因此仍需结合论文完整实验判断适用边界。可以确定的是,VSpark 将投机解码从通用文本生成场景推进到机器人动作序列,并把 token 层面的严格验证与动作生成效率放在同一框架中考察。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章