长上下文真正的敌人，不是长度，而是注意力竞争

长上下文通常被简单理解为“文本越长，模型越容易忘记前面的内容”。但论文《Length Is Cheap, Competition Is Not》提出了一个更具体的解释：在检索任务中，真正让模型失效的未必是 token 数量，而是多个相似证据争夺有限的注意力。

导语：32K token不一定是问题

研究者在五个开源模型上构造了 key-value 检索任务，覆盖四个模型家族，参数规模从0.5B到3B。实验首先比较了不同类型的长文本填充。在 Qwen2.5-1.5B 上，当上下文扩展到32K token时，加入与任务无关的中性文本，准确率仍保持在0.97至1.00之间。这说明“上下文变长”本身，并不必然带来明显退化。

核心发现

• 同样的位置，换成相似证据就会失效。 当填充内容改为与目标证据格式相同的陈述，准确率降至约0.16至0.33。研究者在另一处说明中给出了0.11至0.21的结果区间，显示具体设置会影响绝对数值，但结论一致：格式相似、语义相关的内容比中性噪声更危险。
• 竞争答案的破坏力更强。 只要加入一条把查询键映射到另一值的陈述，损失就可能扩大9至110倍；继续增加竞争陈述，损失还会累积。
• 注意力比长度更能解释错误。 在126,473次试验中，模型留在正确证据上的注意力质量最多可以解释58%的损失差异，而对数长度最多只能解释8%。这并不证明注意力变化就是唯一因果机制，但表明它是一个更有用的诊断信号。
• 掩码实验需要谨慎解读。 研究复现了在 MMLU 上使用掩码填充时的长上下文性能下降：30K token时损失约11至18个百分点。但在检索任务中，32K token时把填充内容掩码会造成约45个百分点的准确率下降，而让同样内容保持可见却几乎没有代价。由此看来，掩码可能改变了模型可利用的信息形态，不能直接等同于“长度造成退化”。

意义与局限

这项研究对 RAG 和长文档问答有直接启发：优化上下文不应只关注窗口大小，还要控制证据之间的重复、冲突和格式相似度。检索系统可以优先去重、标注来源、隔离互相矛盾的事实，并用注意力或其他内部信号辅助定位模型究竟是否看到了目标证据。

不过，论文的结论仍需保持克制。实验主要依赖一个合成检索任务，研究只展示了最多3B参数的模型；注意力与性能之间的关系也是相关性分析，并未通过干预证明因果关系。因此，“竞争比长度重要”更适合作为一种可检验的解释框架，而不是适用于所有长上下文场景的定律。

来源：Hugging Face Daily Papers