CCTest · Blog
OmniScope:让全模态大模型压缩音视频 Token 时不再“互相误导”
推理与部署
cctest.ai
推理与部署

OmniScope:让全模态大模型压缩音视频 Token 时不再“互相误导”

OmniScope 提出一种免训练的全模态大模型 Token 压缩框架:查询可以作为共同语义锚点,但音频与视频的相关性应分别估计。它在 25% Token 保留率下实现最高 3.53 倍 prefill 加速,同时平均准确率几乎不变。

阅读全文
CCTest · Blog
vLLM 引入并行草稿解码:P-EAGLE、DFlash 与 DSpark 如何突破单 Token 生成瓶颈
推理与部署
cctest.ai
推理与部署

vLLM 引入并行草稿解码:P-EAGLE、DFlash 与 DSpark 如何突破单 Token 生成瓶颈

vLLM 与 Speculators 开源支持 P-EAGLE、DFlash、DSpark 三种并行草稿算法,试图把推测解码从“逐个生成候选 token”推进到“一次生成候选块”。这类方法的核心价值,在于降低草稿阶段的串行开销,并让大模型推理服务更容易扩展和调优。

阅读全文