DoSA：让稀疏注意力不必为每个候选完整打分

导语

稀疏注意力的目标，是在超长上下文中只访问少量最相关的键，从而降低注意力计算量。但在实际推理系统里，“找到这少量键”本身也可能很昂贵：Indexer通常需要让每个候选键经过多个索引头打分，最后再完成Top-K选择。候选数量越大，筛选阶段就越可能成为瓶颈。

DoSA（Dots Sparse Attention）针对的正是这一问题。它并不改变最终选择规则，也不以近似结果换取速度，而是尝试证明某些候选即使完成全部计算，也不可能进入最终Top-K，因此可以提前跳过。

核心要点

• 从“完整计算”转向“条件计算”：Top-K选择并不要求每个候选都得到精确分数。只要能够证明一个候选的最高可能得分仍低于当前入选门槛，就可以安全淘汰它。
• 用种子集合建立门槛下界：DoSA先通过一组种子候选获得当前胜出阈值的下界。这个下界越可靠，后续能够被提前排除的候选通常越多。
• 构造候选分数上界：对于非负的头部投影，方法利用联合残差界估计其正向贡献；对于负向头部，则借助与激活相关的聚合界，限制其可能带来的扣减幅度。两类界共同形成候选仍有资格进入Top-K的判定证书。
• 减少后处理成本：对仍然可能入选的候选执行完整打分后，DoSA还会进行精确分数过滤，以降低写回和最终选择阶段的工作量。
• 保持选择结果不变：论文将这种证书及其精确选择条件形式化，方法的目标是无损复现原有Top-K结果，而不是通过近似检索换取性能。

实验结果与意义

论文报告的GPU实现覆盖英文、中文和代码工作负载。完整Indexer相对SGLang最高获得2.74倍加速，相对LiteTopK最高获得1.69倍加速。在端到端测试中，基于GLM-5.2的时间到首Token指标最高提升1.94倍，基于DeepSeek-V3.2则最高提升1.50倍。这里的收益不仅来自少做矩阵或点积计算，也来自候选写回和Top-K筛选流程的缩减。

DoSA的价值在于，它把稀疏注意力中的“稀疏性”从最终访问阶段进一步前移到了候选发现阶段。对于长上下文推理系统，这意味着即使最终只读取少量Token，前面的索引器也不必默认遍历所有候选并完成全部打分。论文还分析了向量几何关系和选择间隔对效果的影响：候选之间的分数差距、以及上下界的紧致程度，会直接决定提前淘汰能否奏效。

需要注意的是，文中给出的加速属于特定实现、模型和工作负载下的最高结果，不能直接视为所有部署场景中的固定收益。DoSA更适合被理解为一种可验证的推理优化路径：在不改变Top-K语义的前提下，利用结构化界限减少不必要的计算。随着上下文长度和检索候选规模持续增长，这类“先证明无需计算，再执行精确计算”的设计，可能成为稀疏注意力工程化的重要方向。

来源：Hugging Face Daily Papers