Fathom:让每个查询按需读取KV缓存,降低长上下文解码开销
Fathom针对KV缓存卸载到主机内存后的扫描瓶颈,让每个查询动态决定读取各个通道多少比特。在百万级上下文下,它以更少的数据读取实现接近甚至匹配高精度稀疏扫描的效果。
阅读全文Fathom针对KV缓存卸载到主机内存后的扫描瓶颈,让每个查询动态决定读取各个通道多少比特。在百万级上下文下,它以更少的数据读取实现接近甚至匹配高精度稀疏扫描的效果。
阅读全文Edge0针对消费级设备运行大型MoE模型时的显存瓶颈,提出用每层预路由器提前预测下一层专家选择,并将预测结果直接用于执行。项目声称在24GB机器上以较低活动内存运行35B级MoE,但其评测细节仍值得进一步核验。
阅读全文Novita AI开源了Chord,一套面向Kimi K2.x服务形态优化的W4A16 MoE CUDA内核。在特定H200和B300测试中,它相较Humming展现出最高2.15倍的单层性能提升,但这些结果仍属于内核级测量。
阅读全文vLLM 开源 Speculators 训练库支持为 Kimi K3 训练和部署 DSpark 草稿模型。测试显示,它在数学推理和高并发场景下显著提升交互速度与输出吞吐。
阅读全文HyQuant提出一种面向大模型注意力模块的混合精度量化方案:将少量关键Token和局部窗口保留为高精度,其余上下文压缩为低比特格式。在长上下文推理中,该方法试图同时降低KV缓存开销与量化带来的精度损失。
阅读全文vLLM 团队复盘了 MiniMax M3 在 AMD Instinct MI355X 上的优化过程:从局部算子形状、重复计算和数据搬运入手,再将注意力转向调度与排队。结果显示,推理性能提升并非依赖单一内核,而是来自一套随瓶颈迁移而调整的方法。
阅读全文vLLM 引入以主机内存为中心的分层 KV Cache Offloading,将 KV 缓存扩展到 CPU 内存、文件系统、对象存储和远端节点。它以分层加载替代部分重复计算,并支持跨节点缓存共享。
阅读全文Uno尝试把扩散式并行生成引入自回归语言模型,在不改变基础模型输出分布的前提下,一次草拟多个Token,再由原有自回归路径验证。论文称,该方法无需额外草稿模型,最高可实现约3倍吞吐提升。
阅读全文vLLM 将 HiSparse 与混合内存分配器、KV 卸载机制结合,让 GLM 5.3 在 KV Cache 超出 GPU 容量时仍能持续解码。该方案面向长上下文、多并发的智能体工作负载,目标是在不频繁重算的情况下提高资源利用率。
阅读全文AgentX数据显示,智能体应用的长上下文、多轮交互和高前缀复用,正在改变推理服务的优化重点。vLLM从KV缓存、执行并行、调度以及Prefill/Decode分离等层面,系统性调整服务架构。
阅读全文vLLM通过插件机制支持Tenstorrent加速器,同时保留OpenAI兼容的服务接口。真正值得关注的并非新增硬件后端,而是它如何将阶段化调度、Mesh并行和设备侧采样放在核心代码之外实现。
阅读全文伯克利与 MIT 研究人员开源 FreeToken,通过带宽自适应调度、权重双缓冲和弹性显存管理,尝试让消费级 GPU 更高效地运行大型 MoE 模型。论文称,RTX 4060 笔记本运行 Qwen3.6-35B 时可达到约每秒 39 个 Token。
阅读全文一项针对混合架构27B模型的实验显示,Gated DeltaNet并不必然需要保留8或16比特精度。将全部496个线性层统一量化为NVFP4 W4A4后,模型在多项任务和长上下文检索中仍接近BF16表现。
阅读全文Cerebras 文档显示,Qwen 3.8 27B 已加入其公开推理端点,免费试用和按量付费用户均可使用,标称速度约为 1500 tokens/s。平台同时披露了上下文限制、量化方式及模型完整性策略。
阅读全文英伟达发布开源软件 Personal AI Router(PAIR),可发现并连接家庭网络中的兼容电脑,用闲置算力协同处理本地 AI 推理任务。它不是硬件路由器,而是一套面向 Ollama、LM Studio 等工具的本地计算调度方案。
阅读全文CRISP 针对长上下文自注意力预填充的动态稀疏问题,提出结构代理指标和感知注意力汇聚点的阈值策略。在多个长上下文基准上,它在降低注意力开销的同时改善了检索任务表现。
阅读全文KAIST AI团队提出Declarative Attention,让语言模型在生成过程中声明需要访问的上下文区域,从而跳过大量KV缓存读取。初步评测显示,这种方法能显著降低注意力读取量,但会带来小幅准确率下降。
阅读全文一项企业级实践尝试用生产流量反向驱动后训练,将指令遵循、函数调用和内部任务分布拆成三个优化方向,再通过模型合并形成统一模型。结果显示,小得多的模型在内部评测和实际服务覆盖上具备竞争力。
阅读全文NAVER AI Lab提出Verification-Aware Training(VAT),把推测解码中的顺序验证过程引入草稿模型训练。该方法在不修改模型架构和推理流程的前提下,提升了候选 token 的平均接受长度与实际加速效果。
阅读全文vLLM-Omni 对 MiniMax H3 的优化显示,多模态视频生成的瓶颈贯穿编码、扩散、VAE 解码、跨进程传输和 MP4 封装。进一步接入 FastVideo 的 FastH3 后,四次 DiT 前向即可将完整视频响应压缩到接近播放时长。
阅读全文一项研究比较了改造后的线性注意力模型与带注意力汇的滑动窗口注意力,发现后者在多项任务上表现相当或更好,长上下文推理优势尤其明显。它不需要重新训练模型,或许是降低推理成本的更务实方案。
阅读全文