LiteRT Tensor API:谷歌把端侧模型优化推进到计算图层
端侧 AI 的性能瓶颈,往往不只来自模型本身。预处理、推理与后处理之间的数据搬运、不同硬件后端的接口差异,以及 CPU、GPU 和 NPU 之间的同步,都可能抵消模型优化带来的收益。谷歌推出的 LiteRT Tensor API,试图从计算图层面处理这些问题。
核心要点
LiteRT Tensor 是一个轻量级 C++ API。开发者可以用逐算子的方式搭建计算图,直接控制模型结构、优化策略和加速器执行,同时让同一份图通过 LiteRT 运行在 CPU、GPU 和 NPU 上,减少针对 Metal、OpenCL 或 Vulkan 等后端重复编写代码的需要。
它还提供了几项面向实际部署的能力:
- 直接导入权重:可从检查点加载参数,包括 Hugging Face 的
.safetensors文件。 - 零拷贝缓冲区互操作:减少预处理、推理和后处理之间的加速器缓冲区复制。
- 适配编码智能体:智能体可以生成 C++ 代码,用于构建、修改、验证和基准测试模型图。
- 跨平台执行:同一份 C++ 模型代码可面向不同设备后端运行,降低迁移成本。
谷歌以 SAM 2 多对象分割与跟踪应用作为演示,并在一台 macOS 笔记本、一部 iOS 手机和一部 Android 手机上运行同一份 C++ 代码,分别对应 Metal、Metal 和 OpenCL。其测试称,在 MacBook Pro 上,LiteRT Tensor 版本比 Apple MLX 的相关实现快约 1.5 倍。谷歌还表示,编码智能体将 SAM 2 的部分逐帧决策移入计算图,并替换会在 WebGPU 上触发 CPU 回退的操作;在 512×512 分辨率下,帧率由不足 10fps 提升到 30fps 以上。
意义与边界
这项 API 的价值不只是“用 C++ 写模型”,而是把端侧优化从后端适配和手工胶水代码,推进到可组合、可验证的图结构。对于视觉模型、实时视频和需要持续处理设备缓冲区的应用,减少数据复制并保持算子在加速器上执行,可能比单纯更换推理运行时更重要。计算图的结构化表达,也为编码智能体参与性能实验提供了更明确的操作空间。
不过,Arm AI 总监 Laurence Moroney 的建议也说明了它的适用边界:开发者通常应先从模型转换开始,只有在需要图级控制,或希望预处理与后处理继续留在加速器上时,再考虑这一 C++ API。因此,LiteRT Tensor 更像面向高级部署场景的补充层,而不是所有端侧项目的默认入口。
谷歌计划继续补充 ML Drift 后端支持、更多适合 NPU 的操作、自动全图量化,以及面向图像尺寸、批大小和序列长度的动态形状能力。能否形成稳定优势,仍取决于后端覆盖、算子成熟度和真实设备上的工具链体验。
来源:InfoQ 中文
评论
正在确认登录状态……
正在加载评论……