CCTest · Blog
不确定时再加精度:小模型按解码步骤动态读取权重
推理与部署
cctest.ai
推理与部署

不确定时再加精度:小模型按解码步骤动态读取权重

一项针对 Qwen3-0.6B 的研究探索了按 token 动态提升权重精度:大多数步骤使用 4 bit,只有在输出分布显示不确定时才回读 8 bit。结果显示门控器能较好预测低精度与高精度之间的结果分歧,但目前尚未证明它能在相同成本下稳定提升最终任务准确率。

阅读全文
CCTest · Blog
让每个问题都找到合适的模型:PISA-E探索自适应LLM集成路由
推理与部署
cctest.ai
推理与部署

让每个问题都找到合适的模型:PISA-E探索自适应LLM集成路由

PISA与PISA-E尝试让大语言模型路由从“每次只选一个模型”走向按提示词动态选择模型组合。实验显示,PISA-E在追求质量时取得了评测集成方法中的最佳平均任务表现,并在部分成本档位保持更高性价比。

阅读全文
CCTest · Blog
RidgeFill:无需训练,预测大模型后段层以加速长上下文 Prefill
推理与部署
cctest.ai
推理与部署

RidgeFill:无需训练,预测大模型后段层以加速长上下文 Prefill

RidgeFill 通过一次校准数据拟合出的岭回归映射,预测模型后部层的输入,从而减少长提示词 Prefill 阶段的计算。实验显示,它在保留部分敏感 token 完整计算的情况下,可在不同模型和推理框架上获得 1.25 至 1.60 倍的首 token 延迟加速。

阅读全文
CCTest · Blog
LLM 推理能耗并非按 Token 等价计费:SIMPLE 模型揭示 KV Cache 的隐性成本
推理与部署
cctest.ai
推理与部署

LLM 推理能耗并非按 Token 等价计费:SIMPLE 模型揭示 KV Cache 的隐性成本

一项发表于 Hugging Face Daily Papers 的研究提出 SIMPLE 能耗模型,用模型架构和输入输出长度预测 LLM 推理能耗。研究显示,KV Cache、GQA 分组方式与推理长度会显著改变每个 Token 的真实成本。

阅读全文
CCTest · Blog
SpecPilot:让智能体自动寻找推测解码的系统优化路径
推理与部署
cctest.ai
推理与部署

SpecPilot:让智能体自动寻找推测解码的系统优化路径

SpecPilot 将成本模型、并行智能体搜索和严格一致性校验结合起来,针对不同部署环境自动发现推测解码优化方案。在多个模型、草稿器、GPU 平台和基准上,它将单请求场景相对自回归解码的加速比从 4.46 倍提升至 10.87 倍。

阅读全文
CCTest · Blog
Soft-MTP:从噪声梯度中找回多Token预测的有效信号
推理与部署
cctest.ai
推理与部署

Soft-MTP:从噪声梯度中找回多Token预测的有效信号

一项新研究指出,标准多Token预测训练中的梯度包含大量低信噪比残差,可能同时干扰下一Token和多Token学习。研究者提出Soft-MTP,通过直通式梯度路由仅保留有益的KL自蒸馏信号,在不增加参数和可测开销的情况下改进MTP。

阅读全文