推理与部署

DoSA提出一种无损的稀疏注意力索引加速方法，通过分数上下界提前排除不可能进入Top-K的候选，从而减少完整打分、写回和选择开销。

Elastic Latent Recurrence（ELR）试图让同一个语言模型在不同推理预算下运行：一次循环接近普通模型的效果，增加循环次数则换取更低损失和更高准确率。该方法还兼顾了KV缓存与MoE推理成本。

vLLM为Prefill-Decode分离架构引入双向KV传输，使解码节点保存的上下文能够在下一轮返回预填充节点。该机制针对多轮智能体不断重复计算历史上下文的问题，最高可将TTFT降低3.3倍。

VLA 推理加速不能只看平均延迟和成功率，因为一次被忽略的信息可能在闭环控制中累积成任务失败。CARE 通过成对 rollout 和有限样本保证，选择满足风险预算的最快加速方案。

TokenRouter 面向 Token 级大模型路由，试图解决多模型异步推理中的步进失同步与批处理延迟问题。其核心思路是“请求中心编程、模型中心执行”，并通过延迟批处理调度提升解码吞吐。

SparseDecoding针对大语言模型解码阶段的两个关键问题提出改进：校准数据与真实生成分布不一致，以及传统稀疏方案对SpMV支持不足。论文通过解码感知剪枝和专用稀疏内核，在A100上实现最高1.48倍端到端解码加速。

SparseEngine 是一个面向稀疏推理重新设计的 LLM 服务引擎，试图解决不同 KV 缓存方法难以接入现有推理框架的问题。论文称，它在多项测试中显著提升了吞吐与解码速度，并支持跨请求的缓存状态管理。

测试时扩展不应只在准确率与成本、延迟之间做单一权衡。PersonTTS尝试为不同用户画像发现可执行控制器，并通过复用跨用户搜索经验降低策略发现开销。

NAVER AI Lab 提出 DLoop，通过连续执行多个草稿阶段，再一次性验证累积的候选 token，减少目标模型前向计算。在保持无损解码的同时，该方法在多种草稿模型和推测解码方案上带来 5% 至 41% 的墙钟加速提升。

SlimWise 针对 MoE 服务中预填充与解码阶段的不同特性，提出“全模型预填充、剪枝模型解码”的推理方案。该方法复用全模型生成的 KV cache，在 Qwen3.6-35B-A3B 上以 50% 专家剪枝实现最高 1.81 倍解码吞吐提升。

RouteFM提出将LLM路由视为一种可迁移的基础能力：路由器不再依赖固定模型名称，而是通过少量行为观测判断匿名模型的特长。实验显示，冻结后的路由器能够跨任务、模型池、模态和上下文预算迁移。

PyTorch 团队将 Helion 集成到 vLLM 线性层后端，尝试用高层内核 DSL 和自动调优替代部分手工内核特化。在 NVIDIA Hopper 测试中，该方案通过按形状调优与混合调度，在部分工作负载上取得了超过 10% 的吞吐提升。

MALA 保留完整的因果 QK 打分，再依据注意力分布中的归一化贡献，动态减少低贡献区域的后续计算。实验显示，它在保持模型效果接近 FullAttn 的同时，显著降低长上下文训练与推理延迟。

循环语言模型通过反复执行同一权重共享模块提升有效深度，却也带来逐 token、逐循环的延迟瓶颈。Wavefront Decoding利用中间循环状态进行自推测，并把不同位置、不同深度的计算组织成对角波前，在无需额外训练的情况下提升解码吞吐。

一项来自KAIST AI的研究发现，延长思考并不总能突破小型推理模型的能力边界。FlyBy尝试让模型先判断瓶颈，再决定是否向更强模型查询以及查询多少。

一项名为 Disaggregated Quantization 的方法，针对 LLM 推理中的 Prefill 和 Decode 阶段分别设计计算格式、权重与存储策略。在 Qwen 3、Gemma 3 等模型上的实验显示，它有望同时改善低比特推理精度与首 token 延迟。

HybridInfer提出一种面向真实安卓设备的热感知强化学习路由器，在端侧、边缘和云端模型之间动态选择。研究显示，手机端大模型的关键问题可能不是单纯变慢，而是持续生成导致推理运行时失稳。

RAZOR 提出一种无需训练的 MoE 专家剪枝方法，不再单纯依据专家使用频率或输出幅度决定删留，而是评估其他专家能否接替被剪除专家的功能。实验显示，该方法在多个模型和剪枝比例下优于对比方法，但生成稳定性仍可能受到影响。

一篇 arXiv 论文将有损推测解码与机器学习中的 boosting 理论联系起来，解释了为什么放宽与目标模型的一致性后，生成结果有时反而可能在质量上超过目标模型。研究还给出了适用于多类散度的优化方法与数据结构。

开源项目Colibrì用分层内存和专家按需加载，把部分超大规模MoE模型从“必须装进内存”变成“用到再读取”。这并不意味着推理速度接近高端服务器，但为低成本运行大模型提供了新思路。

Inferact公布的测试显示，16块TPU v7运行Kimi K3时达到每秒709个Token，比同规模GB200快57%。这场对比的关键并非单纯芯片算力，而是面向TPU重写的Megakernel与DSpark推测解码。