CCTest · Blog
Soft-MTP:从噪声梯度中找回多Token预测的有效信号
推理与部署
cctest.ai
推理与部署

Soft-MTP:从噪声梯度中找回多Token预测的有效信号

一项新研究指出,标准多Token预测训练中的梯度包含大量低信噪比残差,可能同时干扰下一Token和多Token学习。研究者提出Soft-MTP,通过直通式梯度路由仅保留有益的KL自蒸馏信号,在不增加参数和可测开销的情况下改进MTP。

阅读全文
CCTest · Blog
SpecMem:让工具调用智能体的推测解码记忆持续在线
推理与部署
cctest.ai
推理与部署

SpecMem:让工具调用智能体的推测解码记忆持续在线

SpecMem 将已验证的工具调用写回按用户隔离的有限记忆,并结合副作用防护,解决推测解码存储随着部署时间推移而失效的问题。论文显示,动态更新记忆可提高接受令牌数量,并在部分测试中带来最高 1.74 倍的端到端加速。

阅读全文
CCTest · Blog
Specter:用量化草模提前预测专家,缓解 MoE 推理的 PCIe 瓶颈
推理与部署
cctest.ai
推理与部署

Specter:用量化草模提前预测专家,缓解 MoE 推理的 PCIe 瓶颈

Specter 将量化草稿模型、多步推测解码与专家卸载结合起来,提前预测后续推理所需的 MoE 专家,从而把部分数据搬运工作移出关键路径。在单请求、单 GPU 场景下,论文报告其平均 TPOT 提升 1.50 倍,最高达到 1.88 倍。

阅读全文
CCTest · Blog
DLite:面向智能体长上下文的无历史投机解码
推理与部署
cctest.ai
推理与部署

DLite:面向智能体长上下文的无历史投机解码

DLite 针对智能体应用中上下文持续增长、多轮交互频繁导致的投机解码效率下降问题,提出一种不显式维护历史上下文的草稿生成框架。它复用目标模型的上下文隐藏状态,并结合轻量级顺序预测头提升候选 token 的可接受长度。

阅读全文
CCTest · Blog
让一个模型按需“多想几遍”:ELR消除循环语言模型的一次循环税
推理与部署
cctest.ai
推理与部署

让一个模型按需“多想几遍”:ELR消除循环语言模型的一次循环税

Elastic Latent Recurrence(ELR)试图让同一个语言模型在不同推理预算下运行:一次循环接近普通模型的效果,增加循环次数则换取更低损失和更高准确率。该方法还兼顾了KV缓存与MoE推理成本。

阅读全文