混合注意力的关键不只是模块，更是位置偏置

长上下文模型正在从“单一全注意力”走向多种注意力机制协作。全注意力擅长建模远距离依赖，但计算成本随序列长度快速上升；滑动窗口注意力能够控制计算范围，线性注意力则试图以更低成本聚合历史信息。问题在于，不同模块如何组合，往往比“是否采用混合架构”更决定最终效果。

近期论文《Mechanics of Long-Context Hybrid Models Part 1.1》从位置偏置的角度，分析了 RoPE 全注意力、NoPE 全注意力、滑动窗口注意力，以及 GLA、GDN 等门控线性注意力的协作机制。作者的核心观点是：混合模型真正利用的并非简单的“混合注意力”，而是由不同模块共同形成的“混合位置”。

上下文扩展与长度外推出现跷跷板效应

研究观察到，滑动窗口混合模型与线性注意力混合模型在两类任务上的优势正好相反：

• 在不改变训练上下文、直接把模型用于更长序列时，滑动窗口混合模型通常更强。
• 经过长上下文持续预训练后，线性注意力混合模型往往获得更明显的收益。
• 这种差异在逐层混合的架构中尤其突出，说明注意力模块的位置分布也会影响训练结果。

作者将其概括为上下文扩展中的“跷跷板效应”。对于滑动窗口模型，短窗口可能造成“短上下文学习陷阱”：模型在训练早期过度适应局部范围，后续扩展上下文时难以充分利用更远信息。研究还提出“短窗口疲劳”和“长窗口惰性”两个现象：窗口过短会限制上下文学习，窗口一味增大又可能削弱模型对局部结构的有效利用。

线性注意力并非天然擅长长度外推

线性注意力在训练上下文内和经过长上下文训练后表现较好，但直接外推到更长长度时，可能不如滑动窗口混合模型。这说明低复杂度并不等于更强的外推能力，位置偏置仍然是关键限制。研究将这种现象称为线性注意力混合模型长度外推中的“无免费午餐”效应。

论文进一步分析了不同位置机制的分工：少量高命中率、具有较粗粒度聚合能力的 NoPE 注意力，负责捕捉全局信息；更多低熵、带有明确位置约束的 RoPE 注意力和门控线性注意力，则帮助过滤噪声。两类分布之间的平衡会随着混合比例变化，合适的比例可能比单纯增加某一类模块更重要。

从混合注意力走向滑窗线性注意力

基于上述观察，作者提出滑窗线性注意力，将滑动窗口的局部范围限制引入位置敏感的注意力，同时增强 NoPE 注意力的全局聚合能力。该方法试图兼顾局部建模、全局检索与长度外推，在 NIAH-SK1 的 64K 上下文测试中保持 100% 准确率，并实现 16 倍的免训练长度外推。

这项工作对长上下文模型设计的启示是，架构选择不能只比较注意力的计算复杂度，还要考察其位置归纳偏置，以及它在预训练、上下文扩展和直接外推之间的适配关系。未来的混合模型可能需要联合设计窗口大小、层间布局、NoPE 与位置编码模块的比例，而不是简单叠加不同注意力机制。

来源：Hugging Face Daily Papers