返回文章列表

Gemini API 推出 Tool Retrieval:按需加载工具参数

阅读约 2 分钟

当智能体接入的工具从少数几个扩展到数十乃至数百个时,每次请求都附上全部工具的参数结构,会持续占用输入 token,也可能增加延迟,并让模型更难从大量候选项中选出合适工具。Google 在 Gemini Interactions API 中预览推出 Tool Retrieval,试图把“工具可用”与“完整参数常驻上下文”分开处理。

核心要点

  • **按需加载参数结构:**开发者可添加 tool_search,并将希望延后提供的工具设为 defer_loading: true。模型仍能看到这些工具的名称和描述;当任务需要某项工具时,模型按名称请求,API 再载入完整参数结构,并继续完成函数调用。检索、返回结构和函数调用都能在同一次请求的步骤记录中查看。
  • **保留常用工具,延后长尾工具:**工具并非必须全部延迟加载。频繁使用的工具可以预先提供,规模较大但较少触发的工具则按需取用。这种安排也能配合前缀缓存:延后的参数不进入提示开头,有助于让不同轮次的缓存前缀保持稳定。
  • **覆盖 MCP 与客户端检索:**对远程 MCP 服务器,可延后加载服务器提供的工具。若开发者已有内部工具目录、向量索引或用户权限筛选,也可以让应用端执行 tool_search;这种方式每次检索会多一次往返,但无需预先声明所有工具,也可在对话中加入新接入的工具。

费用与适用范围

Google 表示该功能没有单独收费,输入和输出仍按所调用模型的标准 token 价格计费。启用搜索会增加一小段固定输入 token;模型实际加载的工具结构,也会作为输入计入后续对话。因此,只有未被加载的结构所节省的 token 多于搜索开销时,才会形成净节省,开发者需要结合自身流量衡量。

Tool Retrieval 目前在 Interactions API 预览提供,支持 Gemini 3.6 及之后的模型,包括 Gemini 4 系列。它的价值不只是减少一次请求携带的描述,更在于让大型工具库不必整体挤进每轮上下文,同时保留普通函数调用的执行方式。对于智能体开发者来说,工具库扩张后,如何控制上下文、延迟和调用选择,正逐渐成为工程设计的一部分;按需检索提供了一种由 API 管理的选项,但实际收益仍取决于工具使用分布和工作负载。

Google AI Blog

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
不生成文本,直接选答案:一种面向临床数据的本地智能体方法
AI 智能体
cctest.ai
AI 智能体

不生成文本,直接选答案:一种面向临床数据的本地智能体方法

System 1 Agents 将工具调用拆成由工具结构和用户请求生成的选择题,交由本地决策模型作答,试图减少幻觉并避免敏感数据上传云端。在一组生物医学工具测试中,它的工具选择和参数填写表现优于所比较的本地 LLM 智能体。

阅读全文