返回文章列表
推理与部署

Ramp推出AI模型路由服务Router,瞄准企业推理成本与模型切换

阅读约 3 分钟

导语

企业使用大模型时,真正棘手的问题往往不只是选哪一个模型,还包括如何在成本、响应速度、可靠性和任务质量之间持续做取舍。企业支出管理平台Ramp近日推出AI模型路由服务Router,试图用一个统一API承接不同模型的调用,并把模型选择进一步变成可配置、可观测的基础设施能力。

核心要点

  • 统一接入多家模型:Router目前可访问OpenAI、Anthropic、DeepSeek、Moonshot、Minimax、Nvidia、xAI和Z.ai等供应商的模型。
  • 按规则分配请求:用户可以偏好模型供应商的弹性使用层级,也可以提供最多三个基准,让Router据此选择模型。
  • 兼顾成本与难度:系统支持只把复杂问题交给价格更高的模型,也方便用户测试模型而无需反复修改接入方式。
  • 提供调用监控:控制面板可查看令牌消耗、成本、延迟、回退尝试等信息。
  • 服务仍处于早期阶段:目前仅面向美国用户开放,2026年剩余时间免收Router服务费,但模型推理费用不包含在内;官方尚未公布下一年的价格。

Ramp表示,这套路由系统已经服务自身AI需求约三年。产品形态与OpenRouter相似,但目前可选模型数量较少。对于企业开发者而言,统一入口能够减少分别对接供应商的工作量,也让模型替换、性能测试和故障回退更容易纳入同一套流程。

意义与影响

Router的价值不只在于“把请求转发给模型”。随着模型供应商、价格层级和性能差异不断扩大,企业需要更精细地管理每次推理调用。将任务按难度分层,可以把昂贵模型留给高价值问题;结合基准和成本数据,则有机会让模型选择从人工经验转为可持续调整的策略。

这项业务也与Ramp已有的AI令牌使用监控和支出管理产品形成直接联系。Ramp可以向现有客户提供从调用路由到费用追踪的一体化服务,同时借此接触AI实验室和推理服务商。若Router成为企业测试模型的常用入口,Ramp还可能由费用管理延伸到AI基础设施采购环节。

不过,数据治理将是企业评估Router时的重要条件。Router默认会保留模型输入、输出和工具调用记录一年,用户可以选择退出;Ramp称,在使用这些内容改进产品前,会移除个人可识别信息。对于处理敏感业务数据的公司而言,保留周期、脱敏效果和退出机制仍需要在实际部署前仔细核查。

总体而言,Router显示出模型路由正在从开发者工具转向企业运营基础设施。它能否在模型覆盖、服务价格、数据控制和路由效果上形成优势,仍取决于后续产品扩展与商业化安排。

来源:TechCrunch AI

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
退役 GPU 还能做什么?DumpsterCluster 探索用二手硬件运行 LLaMA-70B
推理与部署
cctest.ai
推理与部署

退役 GPU 还能做什么?DumpsterCluster 探索用二手硬件运行 LLaMA-70B

牛津大学研究团队用 128 张二手 GPU 搭建 DumpsterCluster,验证了退役硬件服务大模型推理的可行性。研究同时指出,低采购成本并不等于低总成本,电价与电力碳强度将决定这类方案是否真正划算。

阅读全文