Gemini Decisions API：把多模态判断变成低延迟基础能力

生成式模型并不总需要写出一段完整答案。在模型路由、内容审核、工具选择和质量分级等场景中，系统真正需要的往往只是一个概率、一个选项，或一个评分。Google近日发布的Gemini Decisions API，正是针对这类“封闭集合决策”设计的接口。

核心要点

• 一次请求处理多个问题：API允许将一份共享输入与最多1000个独立问题绑定，减少重复发送相同上下文的开销。
• 原生支持多模态：输入可以包含文本、图片、音频、视频和PDF，也可以在同一请求中组合使用。例如，系统可以将通话录音与账户信息，或理赔PDF与现场照片放在一起评估。
• 提供三类决策：是否判断类型用于检查某个条件是否成立；choice类型从2至255个候选项中选择，并返回各候选项的归一化概率；score类型按照有序标准给出连续加权分数及各等级概率。素材中的示例将该类型写作“noul”，开发者需要以官方文档中的字段定义为准。
• 面向低延迟调用：Google称，Gemini Decision 1的模型计算中位延迟约为50至100毫秒，端到端延迟约为150至250毫秒；上下文最长可达256K token，但其披露的延迟表现重点覆盖最高16K token的场景。
• 按输入计费：官方给出的价格是每100万输入token 0.10美元，输出token不收费；同一请求中的共享输入只计费一次，API还提供用于原型开发的免费额度。

与逐token生成答案不同，Gemini Decision 1会直接对候选选项进行评分，并返回置信度。对于低置信度结果，应用可以转交更强的模型、规则引擎或人工审核。这种设计尤其适合需要稳定延迟和可解释路由的代理工作流。

意义与影响

如果相关性能和价格数据在实际业务中成立，Decisions API可能成为生成式应用中的“控制平面”：简单请求被送往低成本模型，复杂任务才升级到更强的推理模型；策略检查和内容分级也不必每次生成冗长解释。Google披露的内部用例包括Gemini Notebook的模型路由、Stitch的交互式设计编辑、CC的表情选择，以及Search中的工具安全检查。

不过，概率和置信度并不等同于事实正确率，闭集选项也无法覆盖所有开放场景。开发者仍需验证阈值、校准效果、误判代价和人工兜底机制。对于金融、医疗或安全等高风险流程，官方基准和产品宣传数据不能替代面向自身数据的评测。

目前，开发者可通过Google AI Studio获取密钥，并使用Python、JavaScript或REST接口接入；Google还列出了OpenRouter、LangChain、Vercel、LiteLLM等生态集成。对需要大量轻量判断的多模态应用而言，这一API的价值不在于取代通用模型，而在于把“选择什么、是否通过、处于哪个等级”从生成流程中单独抽离出来。

来源：Google AI Blog