返回文章列表

LightningMoBA:让稀疏注意力选得更灵活、算得更高效

阅读约 2 分钟

长上下文推理的成本,不只取决于模型要处理多少 token,也取决于注意力计算能否跳过不相关的内容。Mixture of Block Attention(MoBA)按查询选择 KV 块,以减少计算;FlashMoBA 则进一步优化了 GPU 执行。但固定 Top-k 给每个查询相同的保留预算,且以查询范围组织任务,可能造成多个任务重复加载同一 KV 块。

LightningMoBA 的核心思路,是把路由策略和 GPU 执行方式一起设计,而不是只改稀疏选择规则。

三项关键改动

  • **按分数动态路由:**不再强制每个查询选择固定数量的块,而是依据块分数阈值决定保留项。不同查询因此可以生成不同规模的稀疏索引;索引在打分时直接生成,不需要维护排序后的 Top-k 候选集合,也不额外训练索引器。
  • **围绕 KV 块组织任务:**在注意力头内,将访问同一 KV 块的查询行归到一起,让一个任务加载的 K/V 数据可以被重复利用。若某个块被很多查询选中,则把工作拆成多个有界任务,避免单个任务负担过大。
  • **流水化执行:**针对 Hopper GPU,流水线将规则的 K/V 数据传输、非规则的查询收集与 Tensor Core 计算重叠,以减少等待。

这些设计试图分开“保留多少信息”和“GPU 如何切分工作”两个问题:阈值决定每条查询的稀疏程度,任务调度则围绕数据复用与负载控制展开。

实验结果与解读

在五个检查点、4K 至 128K 上下文长度的 RULER 测试中,研究者将平均保留预算与 Top-16 对齐。相较 FlashMoBA,LightningMoBA 的端到端生成速度提升 1.20 至 1.60 倍,RULER 平均分从 74.42 升至 75.28。论文还在相同优化后端上比较两种路由策略:两个模型的六种配置中,Top-64 预算下动态路由实现 1.16 至 1.56 倍端到端加速,RULER 分数提高 0.85 至 5.95 个百分点。

训练实验则在 Qwen3-4B、128K 上下文的 100 步设置下进行。两种路由共用优化后的前向和适配后的反向实现;动态路由在 Top-32 和 Top-64 下分别报告 1.23 倍、1.60 倍端到端训练加速,交叉熵保持接近。

这项工作的价值在于,它展示了稀疏注意力的收益不只来自少算,也来自索引构建、内存复用和调度协同。结果支持 LightningMoBA 在所测配置中的效率与质量优势,但不能直接等同于所有线上服务负载下的表现;实际部署还需关注批处理、尾延迟等系统因素。论文也将这套设计作为动态稀疏注意力 GPU 实现的参考方向。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章