CaPtain：让小型开源视觉语言模型学会用代码控制机器人

导语

机器人智能体正在从“调用固定技能”走向“理解任务并编写控制程序”。在代码即策略（Code-as-Policy，CaP）范式下，视觉语言模型不直接输出一串低层动作，而是调用机器人 API，编写能够感知环境、计算几何关系并执行运动的代码。这种方式更接近软件智能体的工作流程，但也把训练难题带到了物理世界：一次错误的抓取可能要在数个回合后才显现，最终结果却通常只有成功或失败两种。

CaPtain 做了什么

CaPtain 提出了一套面向 CaP 机器人的开放后训练流程，并将训练和部署统一放进 CaPtain-Harness。该框架向模型暴露低层感知、几何运算和带安全约束的运动原语，同时覆盖仿真环境与真实硬件。模型需要根据观测生成代码、读取执行结果，再决定下一步请求。

训练分为两个阶段。第一阶段使用 GPT-6 Astra 生成的合成轨迹进行监督微调，让基础模型先掌握 API 形式、任务分解方式和交互节奏。第二阶段采用多轮强化学习，让模型在实际反馈中改进规划与执行。研究的关键设计是“物理评论家”：它可以读取策略在测试时无法访问的模拟器特权状态，并估计某次请求对最终成功概率的影响，从而把单一的回合结果分摊到多个动作请求上。这样既保留了策略的可观测限制，也缓解了长时序机器人任务中的信用分配问题。

结果与意义

以零样本成功率为 0% 的 Qwen3.5-4B 为起点，CaPtain-4B 在 LIBERO 留出测试集上的成功率从监督微调后的 55.4% 提升至强化学习后的 73.8%；在 LIBERO-PRO 上达到 78.5%，并超过若干前沿模型智能体。强化学习带来的提升在三组扰动测试中仍然存在，增幅为 17.6 至 21.2 个百分点。模型在没有目标域训练的情况下，还在 SimplerEnv WidowX 上取得 83.3%，并可经过仅基于仿真的适配后运行于真实机器人。

这些结果说明，机器人 CaP 不一定要依赖闭源大模型、预训练 VLA 或人工设计的高层技能。更重要的是，物理评论家提供了一种将模拟器特权信息用于训练、却不泄露给策略的路径。不过，当前成果仍主要建立在特定 Harness、任务集合和仿真训练流程之上，能否迁移到更复杂、更开放的现实环境，还需要更多验证。研究团队同时发布代码、数据和模型权重，为复现和后续研究提供了基础。

来源：Hugging Face Daily Papers