LongZero：让大模型在零外部数据下提升长上下文推理

长上下文能力并不只是把更多文字塞进窗口。模型还需要在分散于多份文档的信息之间建立联系，完成多跳推理，并在多轮检索中持续保留和更新线索。强化学习被认为是提升这类能力的有效手段，但它依赖大量足够长、具有挑战性且能够自动验证的数据。人工标注成本高，真实长文档任务又难以持续供应；传统合成方法通常还需要外部语料或更强的教师模型。

LongZero的核心思路，是让模型在“零外部数据”条件下自己制造训练任务。不过，它没有直接要求模型从一开始就生成完整的长文档问答样本，而是把生成过程拆成两个阶段：首先，模型以紧凑的结构化形式写出问题、答案以及支持答案的证据；随后，再将这些证据扩展成包含多份文档的长上下文。这样做的好处是，问题的可验证性和证据链可以先被明确下来，长文本生成则变成对既有证据的扩展，而不是同时解决任务设计、答案推导和篇章编排三个难题。

在任务类型上，LongZero结合了两类自生成数据。一类是多跳推理任务，要求模型跨越多个证据片段完成答案；另一类是多轮检索任务，模拟逐步寻找相关信息的过程。研究者使用GRPO对这些任务进行强化学习训练，并在两个大模型上、五项长上下文推理基准上评估其效果。摘要披露的结果显示，在Qwen3-4B-Thinking-2507上，五项基准的平均成绩由54.7升至57.4，且优于基于外部语料合成数据进行强化学习的对照方法。

这项工作的意义不在于证明模型可以凭空获得全部知识，而在于展示了一条减少数据依赖的后训练路线。只要任务具备清晰的证据结构和可验证的奖励，模型就可能通过自生成任务练习“如何寻找、连接和使用长上下文中的信息”。不过，零数据自训练仍需关注自我强化偏差、任务难度分布以及合成证据是否真正覆盖现实场景。LongZero的结果说明，长上下文强化学习的关键或许不仅是扩大语料规模，也包括更合理地组织任务生成与验证流程。

来源：Hugging Face Daily Papers