CCTest · Blog
让语言模型自己决定看哪里:Declarative Attention如何减少长上下文开销
推理与部署
cctest.ai
推理与部署

让语言模型自己决定看哪里:Declarative Attention如何减少长上下文开销

KAIST AI团队提出Declarative Attention,让语言模型在生成过程中声明需要访问的上下文区域,从而跳过大量KV缓存读取。初步评测显示,这种方法能显著降低注意力读取量,但会带来小幅准确率下降。

阅读全文
CCTest · Blog
企业为何要把200多个应用的请求,集中到一个自托管模型上?
推理与部署
cctest.ai
推理与部署

企业为何要把200多个应用的请求,集中到一个自托管模型上?

一项企业级实践尝试用生产流量反向驱动后训练,将指令遵循、函数调用和内部任务分布拆成三个优化方向,再通过模型合并形成统一模型。结果显示,小得多的模型在内部评测和实际服务覆盖上具备竞争力。

阅读全文