CRISP：用结构感知路由改进长上下文稀疏预填充

导语

长上下文模型真正开始处理输入时，首先要经历注意力预填充。由于自注意力需要比较大量 token，两两交互会让计算量随上下文长度呈平方增长。稀疏注意力试图只保留更重要的位置，但固定稀疏模式难以适应不同输入，依赖离线统计的方法也可能在新任务上失效。CRISP（Cliff-awaRe Input-adaptive Sparse Prefilling）关注的是另一条路线：在运行时动态判断每个注意力头应该采用什么稀疏结构。

两个关键改动

• 用结构指标替代间接路由。 现有动态方法可能先构造池化后的矩阵，再通过 Jensen-Shannon Divergence（JSD）估计注意力头与某种稀疏模式的匹配程度。CRISP 观察到，路由结果其实可以直接从代理注意力图的结构中读出。它提出 C_struct，统计与 Vertical-Slash 模式兼容位置上的注意力质量，力图复现 JSD 的路由决策，同时省去池化矩阵乘法和后续 KL 散度计算。

• 不再盲目追求累计覆盖率。 论文进一步分析了后 softmax 注意力质量的“悬崖”现象：少数位置拥有明显较高的质量，之后则进入低幅度背景区。如果仅要求累计质量达到某个阈值，序列变长时，背景噪声会以 O(n) 规模被不断纳入选择结果，既增加计算，也可能稀释真正重要的位置。CRISP 因此使用基于噪声底的 sink-aware threshold，在保留注意力汇聚点影响的同时，避免把长序列背景整体算进去。

实验与意义

在两个模型系列的 InfiniteBench、RULER 和 LongBench 测试中，CRISP 被报告为整体表现最强的稀疏方法之一。在检索密集型任务上，它的效果可达到或超过精确稠密注意力，相比基线最高恢复 28.0 个百分点；在 512k token 上，注意力部分最高获得 5.30 倍加速。论文将主要收益归因于选择阶段消除 O(n) 背景噪声，同时保持原有注意力结构。

这项工作的价值不只是提出一个更快的路由器。它提醒人们，动态稀疏系统的瓶颈可能来自路由本身，以及“保留多少”这一预算规则。直接利用结构信息可以减少决策开销，而对 softmax 后质量分布的分层建模，则为超长上下文下的稀疏预算提供了更贴近实际的依据。需要注意的是，现有材料主要说明了基准结果和方法设计，尚不足以判断其在所有模型架构、硬件平台及不同稀疏模式上的泛化表现。

来源：Hugging Face Daily Papers