CCTest · Blog
RidgeFill:无需训练,预测大模型后段层以加速长上下文 Prefill
推理与部署
cctest.ai
推理与部署

RidgeFill:无需训练,预测大模型后段层以加速长上下文 Prefill

RidgeFill 通过一次校准数据拟合出的岭回归映射,预测模型后部层的输入,从而减少长提示词 Prefill 阶段的计算。实验显示,它在保留部分敏感 token 完整计算的情况下,可在不同模型和推理框架上获得 1.25 至 1.60 倍的首 token 延迟加速。

阅读全文
CCTest · Blog
FewStepRL:让少步扩散模型也能高效进行强化学习微调
强化学习
cctest.ai
强化学习

FewStepRL:让少步扩散模型也能高效进行强化学习微调

腾讯混元团队提出 FewStepRL,将多种扩散模型强化学习目标系统地改写为适用于少步采样器的形式。研究表明,可微且梯度成本可控的奖励更适合梯度型方法,而 DiffusionNFT 风格方法在其他场景下也能较快获得较高奖励。

阅读全文