SpecMem：让工具调用智能体的推测解码记忆持续在线

导语

当智能体需要查询数据库、调用搜索接口或执行外部动作时，工具调用本身往往成为响应延迟的重要来源。即使最终输出没有变化，调用参数和函数序列仍需逐 token 自回归生成。推测解码提供了一条加速路径：先用更快的草稿机制预测可能的工具调用，再由目标模型验证。问题在于，用户的行为虽然经常重复，但“曾经见过的调用”会随着新任务出现而逐渐过时。

arXiv 论文提出的 SpecMem，重点不是重新训练模型，而是把工具调用记忆变成一个在部署期间持续维护的系统组件。

核心要点

• 记忆库在线更新。 经过目标模型验证的工具调用会被写回记忆，而不是只在系统启动时构建一次。每个用户拥有有界的本地存储，并通过 LRU 机制淘汰较旧条目，控制内存规模。
• 让草稿跟上新任务。 对比实验中，冻结记忆库随着多轮、多用户请求推进，接受的草稿令牌逐步减少；SpecMem 则能够吸收部署过程中出现的新调用模式。三种开放权重模型上的结果显示，平均接受令牌数量相比冻结方案高出 27%，不同基准的差距为 11% 至 34%，并带来最高 1.74 倍的墙钟加速。
• 副作用与置信度分开处理。 对具有不可逆副作用的调用，系统会先延迟执行，待验证通过后再放行。论文的消融结果表明，按声明的副作用进行门控，比依据检索置信度门控更能消除不可逆错误。
• 隔离主要服务于安全。 按用户划分记忆并未提升接受率，但关闭了实验中观察到的跨用户信息泄漏通道。这说明记忆范围设计不能只看性能，也要考虑数据边界。

意义与影响

SpecMem 的价值在于指出：推测解码的效果不只取决于模型或验证器，也取决于草稿来源是否能够随真实流量更新。对于具有稳定操作习惯的个人助手、企业工作流和工具编排系统，在线记忆可能比一次性建立的调用缓存更能维持长期收益。

不过，这种方法也带来工程约束。记忆需要容量上限、淘汰策略和用户级隔离；工具还必须明确标注哪些操作具有副作用，验证环节也不能被加速逻辑绕过。因此，SpecMem 更像是一套部署管理原则，而不是单一的解码算法：让可预测的调用大胆提前，让不可逆的动作始终等待确认。论文结果同时提醒开发者，性能优化与安全控制应在系统设计之初一并规划，而非在上线后再补救。

来源：arXiv