Show-Harness：用语义接口让通用视觉语言模型直接操控机器人

导语

让视觉语言模型看懂世界，并不等于让它能够稳定地操控机器人。传统方案往往需要为不同机器人设计动作表示、采集大量示范数据，或进行针对具体具身形态的预训练。Show-Harness 的切入点并非继续扩大模型，而是重新设计模型与机器人之间的接口：让 VLM 负责理解环境和做出细粒度决策，再由与机身相关的解释器把语义动作落地为局部控制指令。

核心要点

• 用离散语义单元连接意图与动作。 Show-Harness 向模型提供紧凑的语义动作空间，使其能够围绕“移动到目标位置”“抓取”“放置”等可推理单元组织行为，而不是直接生成难以跨平台复用的底层控制信号。
• 把通用推理与具身执行分开。 VLM 仍直接参与物理决策，解释器则根据具体机器人的结构、传感器和执行方式，将语义动作确定性地映射为本地动作。这种分工减少了模型对某一种机器人动作格式的依赖。
• 兼容闭源与开源模型。 论文展示了通过统一接口直接调用闭源前沿 VLM 进行零样本机器人控制的可行性，也展示了小型开源 VLM 经过少量 GPU 小时级别的微调后用于低成本部署的路径。
• GUMI 扩展示范采集方式。 GUMI（GUI Manipulation Interface）把相同的语义动作空间带到图形界面中，让人类或智能体能够通过 GUI“操作”机器人，收集示范时不再必须依赖专用遥操作设备。

意义与影响

Show-Harness 的价值在于，它把机器人智能的瓶颈从“模型是否足够大”部分转移到“接口是否足够合适”。如果语义动作能够在不同机身之间保持相对稳定，那么同一个 VLM 的世界知识和规划能力就有机会迁移到更多机器人及环境中；而本地解释器承担执行层适配，也有助于降低重复训练的成本。

这一思路并不意味着底层控制问题已经消失。语义单元如何覆盖复杂操作，解释器如何处理感知误差、接触动力学和安全边界，以及 GUI 示范能否在真实场景中提供足够高质量的数据，仍需要进一步验证。论文摘要所述实验显示，配备 Show-Harness 的 VLM 智能体在任务、具身形态和环境之间表现出较强的泛化能力，并优于所比较的智能体和 VLA 范式。更重要的是，它提供了一个值得关注的方向：通过改善模型与身体之间的“语言”，释放现有通用 VLM 的具身潜力。

来源：Hugging Face Daily Papers