SLA：让机器人基础模型持续学习三维空间能力

导语

机器人要完成“拿起桌上的杯子”这类任务，仅能识别物体和理解指令还不够，还必须判断物体位于何处、距离多远，以及机械臂应从哪个方向接近。现有视觉-语言-动作（VLA）模型的视觉能力大多继承自二维视觉-语言预训练，空间监督往往在具体任务适配阶段才加入。这使空间理解更像一种局部技能，而不是可以迁移的基础能力。

论文提出的 SLA（Spatial-Language-Action Model）试图改变这一训练路径：通过持续预训练，把三维空间对齐纳入机器人基础模型的学习过程，并在后续任务训练中尽量保留这种能力。

核心方法

• 动作学习与空间对齐并行。 SLA 从预训练的 pi05 策略模型初始化，一方面继续预测机器人动作，另一方面约束模型中间层的视觉嵌入，使其与冻结的 3D 感知模型生成的空间表征保持一致。这样，空间信息不再只服务于某一个下游任务。
• 整合异构机器人数据。 研究团队统一了来自不同机器人形态、任务和场景的数据，让空间学习接触更广泛的具身经验。由于数据集提供的几何标注并不完整，教师模型会结合 RGB、部分深度信息和相机标定信息进行监督。
• 用特征依赖门融合多层表示。 不同 VLA 层级的视觉特征可能适合不同类型的空间线索。SLA 引入特征依赖的门控机制，自适应聚合多层视觉嵌入，再提供给空间监督，而不是固定使用某一层。
• 降低对演示轨迹的依赖。 概率状态丢弃会在训练中减少模型对状态输入或演示轨迹的机械依赖，鼓励模型更多利用视觉观察，并缓解对训练轨迹的过拟合。
• 训练时增强，部署时简化。 3D 教师、空间对齐模块和其他辅助组件只在训练阶段使用，完成训练后可以直接复用预训练 VLA 的推理形式，不要求部署额外的空间教师网络。

意义与影响

SLA 的关键价值不在于简单增加一个三维辅助损失，而在于重新安排空间能力的学习位置：它试图让空间理解成为跨任务、跨机器人可迁移的模型表征。对于需要精确抓取、放置和接触的操作任务，这种思路有望缩小“看懂场景”与“在空间中采取正确动作”之间的差距。

同时，这项工作也暴露出具身模型规模化训练的现实难题。不同数据集的传感器配置、相机参数和深度可用性并不一致，模型必须在不完整监督下学习统一的几何表征。SLA 用门控融合和部分几何信息利用来应对这一问题，但其实际泛化效果仍需要结合论文实验与更多真实机器人测试判断。总体而言，SLA 代表了一条从二维语义能力走向三维空间-动作能力的持续预训练路线。

来源：Hugging Face Daily Papers