LongStraw：在固定 GPU 预算下把长上下文 RL 推到 200 万 Token 以上

导语

长上下文模型的推理能力正在快速逼近百万 token 级别，但强化学习后训练却常常停留在 256K token 或更短的窗口内。对于 AI Agent 来说，这个落差尤其明显：一次长任务可能不断积累网页、文档、工具返回、历史推理和中间决策。如果训练阶段看不到足够长的轨迹，部署时只能依赖模型的“长度泛化”，风险并不小。

LongStraw 正是针对这一问题提出的执行栈。它不是一个新模型，而是一套面向超长上下文 RL 后训练的工程方法，论文中以 GRPO 为例进行实现，目标是在固定 GPU 预算下把训练执行扩展到 200 万 token 以上。

核心要点

• 把共享提示和响应分支拆开处理：LongStraw 先对长提示做一次无自动求导的前向计算，不把完整提示纳入训练计算图。
• 只保留必要状态：系统保存后续 token 需要用到的模型特定状态，而不是保留整段上下文的完整反向传播图。
• 逐个回放短响应分支：在需要计算梯度时，再把不同响应分支逐一 replay，并在该短分支上开启 autograd。这样显著降低显存峰值，但会付出额外回放时间。
• 适配不同架构：论文实现覆盖了混合循环与全注意力的 Qwen3.6-27B，也覆盖了压缩注意力 MoE 架构 GLM-5.2，说明该思路并非只针对单一模型结构。

在实验中，LongStraw 在 8 张 H20 GPU 上完成了 Qwen 的分组评分与响应反向传播，位置长度达到 2.1M，组大小为 2 和 8 时均可运行；组大小增加带来的峰值显存增量仅为 0.21GB。另一个压力测试达到 4.46M positions。对于 GLM-5.2，团队在 32 张 H20 GPU 上验证了 2.1M token 提示、78 层全路径执行。

意义与影响

LongStraw 的价值在于把讨论从“模型能不能推理百万 token”推进到“能不能在相近长度上做 RL 后训练”。这对长任务智能体、复杂工具调用和多文档决策系统都很关键，因为它们的训练轨迹往往不是短问答，而是持续增长的状态历史。

不过，论文也保留了重要边界：这些实验主要证明执行容量，而不是完整训练正确性。原因包括提示状态被 detach，以及部分分布式前向和梯度组合路径仍未完成。因此，LongStraw 更像是通向百万级上下文 RL 的工程路标，而非已经闭环的训练方案。后续若能处理更不规则的 Agent 轨迹，例如工具输出在中途流式插入、上下文动态增长，它的实用价值会进一步放大。

来源：Hugging Face Daily Papers