模型路由并不只是“选模型”：IBM 研究揭示企业级 Agent 的真实权衡

导语

把请求分发给不同大模型，听起来像是企业 AI 降本增效的低垂果实：简单任务交给便宜模型，复杂任务交给强模型，代码、多模态等场景再按专长分配。但 IBM Research 在 Hugging Face Blog 的一篇文章中提醒，真正把路由器放进 Agent 系统后，这件事很快会从“选哪个模型”变成“如何优化整个系统”。

核心要点

1. 成本不等于价目表
   文章以 AppWorld Test Challenge 上 417 个任务为例：在同一个 CodeAct Agent 中，Claude Sonnet 4.6 总成本为 79 美元，约 0.19 美元/任务；GPT-4.1 总成本为 155 美元，约 0.37 美元/任务。直觉上 GPT-4.1 标价更低，应当更便宜，但实际结果相反。关键原因是缓存：Agent 多步执行会反复复用上下文，缓存读取价格和命中率会显著改变真实成本。

2. 复杂度不只是任务难度
   “按难度路由”很自然，但问题在于难度往往在执行前不可见。一个看似普通的合同摘要请求，可能触发检索、合规检查、工具调用和多轮修订；一个技术性很强的问题，也可能被小型专用模型高效处理。企业环境还会加入数据驻留、隐私、批准模型清单等约束，使“最佳模型”不一定是“可用模型”。

3. 延迟不只是模型速度
   用户感知到的响应时间不仅取决于模型大小，还取决于路由本身的开销、硬件状态、端点负载、缓存是否预热等因素。若每一步都重新路由，系统可以更灵活，但也会增加延迟和运维复杂度。

4. 路由应成为多目标优化
   IBM Research 的做法是不再只问“这个任务适合哪个模型”，而是同时优化成本、质量和延迟，并保持路由器足够轻量。文章提到，其路由配置可形成成本—准确率前沿：例如延迟优化配置在 84% 准确率、93 美元成本和 83 秒延迟下，相比单独运行 Opus 降低 21% 成本和 9% 延迟，但准确率下降 4%。

意义与影响

这篇文章的价值在于把模型路由从“规则或分类器”拉回到工程现实。对于企业 Agent，模型只是变量之一，缓存、基础设施、治理、工作负载模式同样决定结果。未来的路由器不应只追求为单个请求选出“最强模型”，而应在可接受质量、预算、延迟和合规边界内，为整个系统找到最合适的运行点。

来源：Hugging Face Blog