视觉语言导航(VLN)要解决的,不只是“看懂指令”,还包括在真实或模拟环境中持续选择方向、控制移动并根据反馈调整。常见做法是让视觉语言模型(VLM)与可学习的动作模块协作,同时用导航数据对VLM进行监督微调,使其输出几何目标。ZeroVLN提出另一种分工:尽量不让模型“大脑”重新学习导航,而是让它用自然语言工具调用表达移动意图,再交给专门的动作专家转化为连续运动。
核心要点
- 语义决策与运动执行分开。 VLM负责根据场景和任务提出移动请求;动作专家负责将请求落实为连续控制。模型不必直接预测几何目标,导航知识也不必全部写入VLM权重。
- 先训练执行端,再闭环优化。 研究者从基础VLM自身产生的移动请求构造参考轨迹,只监督每次重新规划之前实际执行的动作前缀。随后,ZeroVLN使用闭环智能体强化学习,同时改进VLM的工具调用和动作专家的连续执行。
- 训练信号覆盖整段交互。 方法组合过程奖励与结果奖励,并以共享的轨迹级优势更新两个策略;与此同时,为“大脑”和动作专家保留不同的梯度路径。也就是说,“不做导航领域SFT”并非完全不训练VLM:论文描述的是不以该类监督微调适配大脑,之后仍通过闭环强化学习共同优化。
- 报告的效果兼顾导航与权重保持。 在使用相同骨干模型和训练回合的比较中,论文称ZeroVLN在三个标准VLN-CE基准上的成功率高于NaVILA和DualVLN。其报告的VLM相对权重位移为0.01497%,并称基础模型的一般视觉能力大体得以保留。
意义与边界
这项工作的重点不只是增加一个动作模块,而是重新划定多模态模型与控制器的职责:前者用可读的语义请求表达“要怎么走”,后者处理连续动作与执行细节。这样的接口有望减少为单一导航任务改动通用模型参数的需要,也让决策与运动控制能够在交互过程中一起改进。不过,现有素材没有给出各基准的具体分数、评测细节或更广泛场景的验证结果,因此不能据此判断优势幅度或泛化边界。更稳妥的结论是:ZeroVLN展示了一种在保留VLM大部分原有权重的同时,进行分层导航训练的路径;其实际价值仍需结合完整论文和更多评测确认。
评论
正在确认登录状态……
正在加载评论……