让人形机器人学会接箱子：Reflex用视觉驱动全身反应

导语：接住飞来的箱子并不只是“伸手”

对人类而言，接住抛来的物体通常只需不到一秒。大脑要判断物体的速度、方向和落点，身体还要同时移动、调整姿态，并让双手在合适的时机完成接触。对于人形机器人来说，这却是一个同时涉及视觉、预测、平衡和全身协同的综合难题。

华盛顿大学团队提出的 Reflex，以“接住被抛来的箱子”为代表任务，探索机器人如何从自身视角的视觉信息出发，快速做出全身反应。与依赖动作捕捉、末端执行器或带标记物体的方法不同，Reflex试图处理更接近真实环境的情况：箱子在运动，观测存在延迟和缺失，机器人只能通过头部或身体上的RGB-D相机观察世界。

核心方法：把难题拆成三个可训练环节

Reflex并没有直接端到端地从图像生成关节动作，而是采用分阶段训练，并用一个紧凑的物体动力学表示在不同模块之间传递信息。

• 先学会全身接取。 第一阶段使用强化学习训练基于状态的控制策略，使机器人学会利用手臂、躯干和腿部共同完成接箱，而不是只移动手部。
• 再学习推断运动状态。 第二阶段让策略面对延迟且不完整的观测，推断箱子的运动动力学，例如其运动趋势和可能的接触位置。这样，控制器学习的不是单帧位置，而是对未来状态的判断。
• 最后接入第一视角视觉。 第三阶段训练一个RGB-D视觉编码器，从机器人自身看到的连续视觉信息中恢复上述动力学表示，同时固定已经训练好的全身控制器。控制和视觉被分开优化，降低了直接训练视觉到动作映射的难度。

这一设计的关键在于时间信息。单张图像很难说明箱子正在向哪里移动，连续帧则能提供速度和轨迹线索。实验显示，移除视觉历史后，居中抛掷和横向偏移抛掷的成功率分别下降35.6和39.8个百分点，说明短时序观察对快速反应至关重要。

实验结果：视觉输入已接近特权状态

在仿真环境中，Reflex使用第一视角RGB-D输入时的接取成功率达到85.7%；如果直接获得箱子的特权观测，成功率为87.9%。两者差距相对有限，表明视觉模块能够较好地恢复控制所需的动态信息。

团队还将系统部署到真实的Unitree G1人形机器人上。在人类抛箱测试中，机器人距离抛掷者2.5米时成功率为65%，距离为5米时为40%。对应距离下，人类接取者的成功率为85%和68%，机器人达到人类表现的76%和59%。这些结果说明，系统已不再局限于理想化的仿真演示，但在更远距离和真实感知误差下仍存在明显差距。

意义与局限

Reflex的价值不只在于“机器人能接箱子”，更在于它提供了一种训练视觉反应式全身控制的工程路径：先解决身体如何行动，再学习如何从不完整观测中预测目标，最后让视觉系统承担状态估计工作。模块化训练为每个能力提供了更直接的学习信号，也有助于把类似方法扩展到躲避移动物体、接递物品或动态协作等任务。

不过，现有结果主要围绕单一的箱子接取场景展开，真实测试规模和环境变化仍有限。机器人能否应对不同形状、质量、抛掷方式以及遮挡更严重的物体，还需要进一步验证。总体而言，Reflex展示了从“看见物体”走向“预测运动并用全身及时反应”的重要一步。

来源：Hugging Face Daily Papers