GroundingPI：让具身智能先看准，再行动

导语

对具身智能而言，“看见”并不等于“看懂”。机器人要抓取目标、避开障碍，自动驾驶系统要判断车辆、行人和道路区域，首先必须准确回答两个问题：目标是什么，以及它在图像中的哪里。GroundingPI 的核心主张是，精确定位不应只是通用视觉语言模型的附属能力，而应成为面向物理智能的基础感知能力。

核心方法

GroundingPI 是一个 4B 参数的 grounding foundation model。它把点和边界框表示为共享词表中的量化坐标，并以生成方式输出定位结果。相比只产生文本描述，这种设计更贴近机器人控制所需的结构化空间信息，也便于在闭环任务中快速调用。

模型训练由多个阶段组成：

• 多模态与空间预训练：同时学习图像、语言和空间关系，强化从语义到位置的映射。
• 监督微调：利用公开数据集以及专门构建的数据引擎，覆盖更丰富的定位场景。
• 强化学习优化：使用 GRPO 改善坐标预测和整体 grounding 能力。

论文在 34 个 grounding 基准、11 类感知能力上与 44 个基线进行比较。GroundingPI 的平均成绩为 73.68%，高于文中所比较的更大规模 GPT-6 Astra（71.54%）。这表明，模型规模并非决定精确定位能力的唯一因素，数据配方和任务设计同样重要。

对具身任务的影响

GroundingPI 不仅作为独立定位模型评估，也被用作 VLA 和 WAM 的视觉骨干。在 RoboTwin 2.0 的四种分布外设置中，它超过实验涉及的其他主流骨干，最高相对提升达到 24.8%。在 RoboCasa-GR1 上，仅使用 50% 的示范数据训练的 GroundingPI，就超过了采用 75% 示范数据训练的对比骨干，显示出潜在的数据效率优势。

在自动驾驶实验中，GroundingPI 作为视觉骨干用于 nuScenes，平均开环 L2 误差为 0.296 米。论文的消融分析还指出，随着预训练规模扩大，机器人操作和自动驾驶下游表现同步改善；密集 grounding 对多类感知能力收益明显，而 OCR 数据可能对感知学习产生额外促进作用。

意义与局限

GroundingPI 的价值不只在于刷新若干榜单，更在于提出了一条清晰路线：为物理智能打造专门的感知基础模型，而不是完全依赖通用视觉语言或视频生成骨干。精确、结构化且可快速推理的空间输出，可能成为连接视觉理解与动作控制的中间层。

不过，现有结果主要来自基准测试、仿真或开环评估，不能直接等同于真实环境中的长期闭环可靠性。模型在动态遮挡、传感器噪声和复杂交互中的表现，还需要更多实机验证。项目已公开代码、模型权重和推理组件，为后续研究提供了可复现基础。

来源：Hugging Face Daily Papers