文章与教程

Claude API 中转站避坑指南、检测原理与大模型 API 实测经验

共 775 篇文章

CCTest · Blog
FlashPrefill V2:把长上下文稀疏注意力推进到实际部署
推理与部署
cctest.ai
推理与部署

FlashPrefill V2:把长上下文稀疏注意力推进到实际部署

FlashPrefill V2 面向长上下文模型的预填充阶段,引入均值校正、面向 GPU 的稀疏算子优化,以及对分页 KV Cache 和连续批处理的原生支持。在 NVIDIA H20 测试中,其相对 FlashAttention-2 在 128K 上下文下最高实现 47.26 倍加速。

阅读全文