TokenRouter:让大模型按 Token 路由,也能高效服务
TokenRouter 面向 Token 级大模型路由,试图解决多模型异步推理中的步进失同步与批处理延迟问题。其核心思路是“请求中心编程、模型中心执行”,并通过延迟批处理调度提升解码吞吐。
阅读全文TokenRouter 面向 Token 级大模型路由,试图解决多模型异步推理中的步进失同步与批处理延迟问题。其核心思路是“请求中心编程、模型中心执行”,并通过延迟批处理调度提升解码吞吐。
阅读全文SparseEngine 是一个面向稀疏推理重新设计的 LLM 服务引擎,试图解决不同 KV 缓存方法难以接入现有推理框架的问题。论文称,它在多项测试中显著提升了吞吐与解码速度,并支持跨请求的缓存状态管理。
阅读全文测试时扩展不应只在准确率与成本、延迟之间做单一权衡。PersonTTS尝试为不同用户画像发现可执行控制器,并通过复用跨用户搜索经验降低策略发现开销。
阅读全文NAVER AI Lab 提出 DLoop,通过连续执行多个草稿阶段,再一次性验证累积的候选 token,减少目标模型前向计算。在保持无损解码的同时,该方法在多种草稿模型和推测解码方案上带来 5% 至 41% 的墙钟加速提升。
阅读全文SlimWise 针对 MoE 服务中预填充与解码阶段的不同特性,提出“全模型预填充、剪枝模型解码”的推理方案。该方法复用全模型生成的 KV cache,在 Qwen3.6-35B-A3B 上以 50% 专家剪枝实现最高 1.81 倍解码吞吐提升。
阅读全文RouteFM提出将LLM路由视为一种可迁移的基础能力:路由器不再依赖固定模型名称,而是通过少量行为观测判断匿名模型的特长。实验显示,冻结后的路由器能够跨任务、模型池、模态和上下文预算迁移。
阅读全文PyTorch 团队将 Helion 集成到 vLLM 线性层后端,尝试用高层内核 DSL 和自动调优替代部分手工内核特化。在 NVIDIA Hopper 测试中,该方案通过按形状调优与混合调度,在部分工作负载上取得了超过 10% 的吞吐提升。
阅读全文MALA 保留完整的因果 QK 打分,再依据注意力分布中的归一化贡献,动态减少低贡献区域的后续计算。实验显示,它在保持模型效果接近 FullAttn 的同时,显著降低长上下文训练与推理延迟。
阅读全文循环语言模型通过反复执行同一权重共享模块提升有效深度,却也带来逐 token、逐循环的延迟瓶颈。Wavefront Decoding利用中间循环状态进行自推测,并把不同位置、不同深度的计算组织成对角波前,在无需额外训练的情况下提升解码吞吐。
阅读全文一项来自KAIST AI的研究发现,延长思考并不总能突破小型推理模型的能力边界。FlyBy尝试让模型先判断瓶颈,再决定是否向更强模型查询以及查询多少。
阅读全文一项名为 Disaggregated Quantization 的方法,针对 LLM 推理中的 Prefill 和 Decode 阶段分别设计计算格式、权重与存储策略。在 Qwen 3、Gemma 3 等模型上的实验显示,它有望同时改善低比特推理精度与首 token 延迟。
阅读全文HybridInfer提出一种面向真实安卓设备的热感知强化学习路由器,在端侧、边缘和云端模型之间动态选择。研究显示,手机端大模型的关键问题可能不是单纯变慢,而是持续生成导致推理运行时失稳。
阅读全文一篇 arXiv 论文将有损推测解码与机器学习中的 boosting 理论联系起来,解释了为什么放宽与目标模型的一致性后,生成结果有时反而可能在质量上超过目标模型。研究还给出了适用于多类散度的优化方法与数据结构。
阅读全文RAZOR 提出一种无需训练的 MoE 专家剪枝方法,不再单纯依据专家使用频率或输出幅度决定删留,而是评估其他专家能否接替被剪除专家的功能。实验显示,该方法在多个模型和剪枝比例下优于对比方法,但生成稳定性仍可能受到影响。
阅读全文开源项目Colibrì用分层内存和专家按需加载,把部分超大规模MoE模型从“必须装进内存”变成“用到再读取”。这并不意味着推理速度接近高端服务器,但为低成本运行大模型提供了新思路。
阅读全文Inferact公布的测试显示,16块TPU v7运行Kimi K3时达到每秒709个Token,比同规模GB200快57%。这场对比的关键并非单纯芯片算力,而是面向TPU重写的Megakernel与DSpark推测解码。
阅读全文Flash-dLLM针对扩散式大语言模型推理中的KV缓存访存开销,提出融合式缓存内核与自验证解码机制。在无需额外草稿模型或训练的情况下,论文报告其在速度、显存占用和批量扩展方面优于多种基线。
阅读全文vLLM正在为面向最新GPU优化的“扁平模型”让路,同时引入硬件无关层,以继续支持旧款GPU、外部加速器和更多模型。该方案在H100上的总token吞吐量与原生实现相差不超过3.4%。
阅读全文SiliconBench 对 9 款 Apple Silicon 推理引擎进行速度、内存与输出保真度评测,指出统一内存桌面上的真正瓶颈并不只是吞吐量。测试还比较了模型覆盖、并发调度与多机扩展能力。
阅读全文vLLM公布了Qwen3.8-2.4T在GB300 NVL72上的PD分离式服务调优结果,并展示了从高吞吐到低延迟的完整性能前沿。文章重点不只是最终数字,还拆解了KV缓存、显存预算和拓扑选择方法。
阅读全文智谱披露,GLM-5.3-Flash 已开始参与推理基础设施的优化,这被团队视为递归自我改进(RSI)的早期形态。它尚未达到完整 RSI,但模型能力边界正从“生成答案”延伸到“改善运行自己的系统”。
阅读全文