RoboTTT：把机器人策略的上下文扩展到 8K 步

导语

多数机器人基础模型仍主要依赖单步或很短历史的视觉运动输入：看一眼当前画面，结合语言指令，直接输出下一步动作。这种范式在短任务中有效，但面对多阶段、长时间、易受扰动的真实操作时，机器人往往缺少“记住刚才发生了什么”的能力。论文 RoboTTT: Context Scaling for Robot Policies 试图把大模型领域的上下文扩展思路带到机器人策略中，将可用视觉运动上下文推进到 8K 时间步。

核心要点

• 从短上下文到 8K 时间步：RoboTTT 将机器人策略的上下文长度扩展到 8K timesteps，论文称这比现有先进策略高出约三个数量级，同时不增加推理延迟。
• 关键机制是测试时训练：模型在训练和推理阶段都会通过梯度下降更新一组“快速权重”。这些权重充当循环状态，把长历史压缩进参数空间，并在后续决策中取回相关上下文。
• 适配 VLA 等机器人基础模型：RoboTTT 可与 Vision-Language-Action 策略结合，使机器人不仅根据当前图像和指令行动，也能利用长时间交互轨迹进行条件化。
• 训练配方强调长序列可扩展性：论文将 sequence action forcing 与截断的 BPTT 结合，用于支撑更长训练上下文。
• 能力表现更接近长期任务需求：在 8K 上下文下，论文展示了从人类视频演示进行一次性上下文模仿、在线策略改进、抗扰动能力，以及多阶段长时程任务上的更强表现。

意义与影响

这项工作的重点不只是“记忆更长”，而是提出了一种不把长历史全部塞进显式注意力窗口的替代路线。通过把历史压缩到可更新权重中，RoboTTT 试图绕开长上下文带来的推理延迟增长问题，这对真实机器人尤其关键：控制回路不能因为上下文变长而明显变慢。

实验结果也凸显了上下文长度作为机器人基础模型新扩展轴的潜力。论文称，RoboTTT 在真实机器人操作任务上相比单步上下文基线整体性能提升 87%；训练于 8K 时间步上下文的模型，相比同模型使用 1K 时间步预训练时表现高 62%。更有代表性的是，它完成了一个五分钟、十阶段装配任务，而基线方法未能完成。

当然，这仍是一篇研究论文，结论还需要在更多机器人形态、任务分布和开放环境中验证。但它给出一个清晰信号：未来机器人策略的进步，可能不只来自更大的模型和更多数据，也来自如何让模型在行动过程中持续吸收、压缩并利用长时间经验。

来源：Hugging Face Daily Papers