Soft-MTP:从噪声梯度中找回多Token预测的有效信号
一项新研究指出,标准多Token预测训练中的梯度包含大量低信噪比残差,可能同时干扰下一Token和多Token学习。研究者提出Soft-MTP,通过直通式梯度路由仅保留有益的KL自蒸馏信号,在不增加参数和可测开销的情况下改进MTP。
阅读全文一项新研究指出,标准多Token预测训练中的梯度包含大量低信噪比残差,可能同时干扰下一Token和多Token学习。研究者提出Soft-MTP,通过直通式梯度路由仅保留有益的KL自蒸馏信号,在不增加参数和可测开销的情况下改进MTP。
阅读全文面向交替使用 GPU 推理与 CPU 外部工具的智能体服务,TAO 将工具返回就绪度、KV 缓存复用和请求规模纳入统一调度框架。论文报告显示,该方法在多组模型与负载设置下改善了延迟、首 token 时间和解码吞吐。
阅读全文一项关于推理努力等级的研究发现,更高的推理预算并不能稳定带来更好的单题表现,最高档位的成本甚至可能是最低档位的 42 倍。研究建议让智能体从低成本开始,只有在经过验证的失败后再升级。
阅读全文受限解码常被认为会压缩大模型的推理空间,但这项研究指出,问题并不在于“约束”本身,而在于约束类型以及被移除的输出路径。格式、答案有效性和推理轨迹约束,可能带来完全不同的结果。
阅读全文一篇新研究把扩散草稿的计算投入与投机解码的接受标准放到同一框架中,重新刻画速度与质量之间的权衡。结果表明,联合调节两者有望突破仅依赖单步扩散草稿的性能边界。
阅读全文SpecMem 将已验证的工具调用写回按用户隔离的有限记忆,并结合副作用防护,解决推测解码存储随着部署时间推移而失效的问题。论文显示,动态更新记忆可提高接受令牌数量,并在部分测试中带来最高 1.74 倍的端到端加速。
阅读全文Cerebras介绍了一套面向超大模型的晶圆级推理部署方法:把模型层分布到多片WSE-3T上,并通过流水线持续处理请求。以约3万亿参数的Kimi K3为例,该方案需要59片晶圆芯片。
阅读全文vLLM通过预填充上下文并行、解码上下文并行和Hybrid HiSparse,将GLM-5.3部署到两台各含8张H200的节点上。该方案在AgentX智能体基准中,相比相同吞吐的数据并行部署,实现了1.7至3.2倍的单用户速度,并支持百万Token上下文。
阅读全文长程智能体的瓶颈正在从模型推理转向KV缓存的存储与搬运。清华团队提出AKV,让智能体直接管理活跃缓存,在不改写历史轨迹、不重复预填充的情况下控制上下文成本。
阅读全文Specter 将量化草稿模型、多步推测解码与专家卸载结合起来,提前预测后续推理所需的 MoE 专家,从而把部分数据搬运工作移出关键路径。在单请求、单 GPU 场景下,论文报告其平均 TPOT 提升 1.50 倍,最高达到 1.88 倍。
阅读全文DLite 针对智能体应用中上下文持续增长、多轮交互频繁导致的投机解码效率下降问题,提出一种不显式维护历史上下文的草稿生成框架。它复用目标模型的上下文隐藏状态,并结合轻量级顺序预测头提升候选 token 的可接受长度。
阅读全文一项针对小型语言模型的研究用固定的512位词元编码替代可训练Embedding表,在减少参数和文件体积的同时,保持了多数基准测试表现。结合三值化模型后,整体模型可缩小至46MB,并实现较高的CPU推理速度。
阅读全文Speculative Sampling 是一种无需训练的交互式视频生成服务方法,通过缓存大双向窗口的预测结果,让模型在保持较强建模能力的同时逐步输出视频。它试图打破“窗口越小、交互越快”的传统取舍。
阅读全文JSSA 面向长上下文解码中的 KV-cache 流量瓶颈,提出联合子空间稀疏注意力与免聚集索引注意力内核。在保持接近完整 KV 注意力精度的同时,论文报告其在 128K 上下文、B200 GPU 上最高可实现 6.43 倍解码吞吐提升。
阅读全文Jeva 不再把候选选择简单序列化为文本生成任务,而是围绕“是否有答案、候选顺序、候选规模和计算复用”四个决策特性设计模型。其 4B 版本支持最多 2048 个候选,并在报告测试中实现零排列导致的决策翻转。
阅读全文DoubtLess 提出一种免训练的对比解码方法:让小型推理模型同时扮演“简洁思考者”和“详细思考者”,引导大型模型减少不必要的思维链。实验显示,Qwen3-32B 在准确率不变的情况下减少了 31% 的思考 token。
阅读全文Elastic Latent Recurrence(ELR)试图让同一个语言模型在不同推理预算下运行:一次循环接近普通模型的效果,增加循环次数则换取更低损失和更高准确率。该方法还兼顾了KV缓存与MoE推理成本。
阅读全文vLLM为Prefill-Decode分离架构引入双向KV传输,使解码节点保存的上下文能够在下一轮返回预填充节点。该机制针对多轮智能体不断重复计算历史上下文的问题,最高可将TTFT降低3.3倍。
阅读全文VLA 推理加速不能只看平均延迟和成功率,因为一次被忽略的信息可能在闭环控制中累积成任务失败。CARE 通过成对 rollout 和有限样本保证,选择满足风险预算的最快加速方案。
阅读全文TokenRouter 面向 Token 级大模型路由,试图解决多模型异步推理中的步进失同步与批处理延迟问题。其核心思路是“请求中心编程、模型中心执行”,并通过延迟批处理调度提升解码吞吐。
阅读全文