CCTest · Blog
RAZOR:用“可替代性”判断 MoE 专家是否值得保留
推理与部署
cctest.ai
推理与部署

RAZOR:用“可替代性”判断 MoE 专家是否值得保留

RAZOR 提出一种无需训练的 MoE 专家剪枝方法,不再单纯依据专家使用频率或输出幅度决定删留,而是评估其他专家能否接替被剪除专家的功能。实验显示,该方法在多个模型和剪枝比例下优于对比方法,但生成稳定性仍可能受到影响。

阅读全文
CCTest · Blog
Mentored Decoding:推测解码如何兼顾更快推理与更高质量
推理与部署
cctest.ai
推理与部署

Mentored Decoding:推测解码如何兼顾更快推理与更高质量

一篇 arXiv 论文将有损推测解码与机器学习中的 boosting 理论联系起来,解释了为什么放宽与目标模型的一致性后,生成结果有时反而可能在质量上超过目标模型。研究还给出了适用于多类散度的优化方法与数据结构。

阅读全文
CCTest · Blog
谷歌发布 Kotlin 版 ADK 1.0:智能体能力延伸至 Android 端侧
AI 智能体
cctest.ai
AI 智能体

谷歌发布 Kotlin 版 ADK 1.0:智能体能力延伸至 Android 端侧

谷歌推出 Kotlin 版 Agent Development Kit 1.0,使 Kotlin、Android 与 JVM 应用能够直接构建具备编排、工具调用、记忆和恢复能力的 AI 智能体。框架还通过 Kotlin Multiplatform 及端云协同能力,覆盖服务器、移动端和混合式 AI 场景。

阅读全文