HexaShell：让视觉语言模型用代码驱动双臂机器人

导语

视觉语言模型已经能够理解图像、生成代码，并在电脑环境中通过工具完成多步任务。但当“工具”变成一台双臂机器人时，问题会立刻从软件操作扩展到空间定位、运动规划和物理接触。HexaShell 试图回答一个直接的问题：一个编码代理，究竟能在多大程度上代替传统机器人策略，直接编写并执行操作程序？

核心做法：尽量不替代理解和决策

HexaShell 的设计重点是“薄”。系统本身只负责把代理发出的命令转换成机器人动作，不额外加入复杂的任务策略。代理通过一条命令行控制双臂机器人，同时接收三台 RGB 相机的画面及其标定信息。

代理每次尝试失败后，会读取执行日志，分析失败原因，再编写或修改小型程序工具。这些工具类似编码代理修复失败测试时留下的补丁：它们不是一次性计划，而是将经验保留下来，供后续任务调用。

空间感知主要依赖几何计算，而不是不可见的额外传感器。工具只能使用机器人观察到的信息，并通过以下方式估计物体位置：

• 利用两台相机对同一点的观测，计算两条视线的交点；
• 利用已知平面，例如桌面或方块顶部，让视线与平面求交；
• 当头部相机无法提供足够信息时，移动腕部相机获取第二个视角。

这种安排将“看见什么、如何定位、怎样修正”交给代理和工具代码，而不是把所有能力隐藏在一个预训练策略中。

实验结果与限制

研究团队只在每项任务的一个种子对应的十种布局上构建工具，随后冻结工具，并在同一任务种子的另外十种新布局上测试。这一设置重点考察工具能否从少量经验中形成可迁移的操作程序，而不只是记住某个场景。

在 RoboDojo 的全部 42 项任务上，HexaShell 的平均成功率为 39.7%，进度分数为 48.0，论文称其达到该基准的新最佳成绩。实验使用 Codex，并采用 GPT-6-Astra 的中等推理强度。需要注意的是，这些数字反映的是特定基准和评测协议下的结果，并不等同于机器人已经具备通用操作能力。

意义：机器人代理的“记忆”可以是代码

HexaShell 的价值不只在于分数。传统机器人系统往往把感知、规划和控制能力封装在固定策略中；这里，代理可以在失败后检查日志、定位问题，再把修正写成显式工具。代码因此成为一种可检查、可复用、可继续修改的外部记忆。

更值得关注的是论文对瓶颈的判断：在这套设置中，限制因素更接近物体接触和物理交互，而不是语言模型是否能继续推理。视觉模型或许能描述目标、生成步骤并调用工具，但抓取、推动以及与物体建立稳定接触，仍会受到定位误差和现实动力学的影响。未来，如何让代码代理更可靠地处理接触不确定性，可能比单纯增加上下文或推理长度更关键。

来源：Hugging Face Daily Papers