GoogleのLiteRT Tensor API、エッジAI最適化を計算グラフへ
エッジAIの性能は、ニューラルネットワークの演算量だけで決まらない。前処理、推論、後処理の間で発生するデータコピー、MetalやOpenCLなど異なるバックエンドへの対応、CPU・GPU・NPU間の同期が、実際のレイテンシーや消費電力を左右する。Googleが発表したLiteRT Tensor APIは、こうした課題を計算グラフのレベルで扱おうとするものだ。
APIの主な特徴
LiteRT Tensorは、演算子を一つずつ組み合わせて計算グラフを構築できる軽量なC++ APIである。モデル構造や最適化方針、アクセラレーターでの実行方法を細かく制御しながら、LiteRTを通じて同じグラフをCPU、GPU、NPUで動かせる。従来のように、対象ハードウェアが増えるたびにMetal、OpenCL、Vulkan向けの実装を書き直す負担を抑える考え方だ。
実運用を意識した機能も用意されている。
- 重みの直接読み込み:チェックポイントから重みを直接読み込め、Hugging Faceの
.safetensorsにも対応する。 - ゼロコピーのバッファー連携:前処理、推論、後処理の間でアクセラレーターのバッファーを共有し、コピーを減らす。
- コーディングエージェントとの連携:C++コードを生成して、グラフの構築、変更、検証、ベンチマークを行える。
- クロスプラットフォーム実行:端末やバックエンドごとにモデルコードを作り直す必要を減らす。
Googleは、SAM 2を使った複数物体のセグメンテーションと追跡アプリでこの仕組みを示した。macOSのノートPC、iOS端末、Android端末で、同じC++コードをそれぞれMetal、Metal、OpenCL上で実行したという。報告されたテストでは、MacBook Pro上で、画像エンコーダーとマスクデコーダーをfp16で動かした場合、Apple MLXより約1.5倍高速だった。また、コーディングエージェントがSAM 2のフレーム単位の判断、たとえば対象が見えているかどうかを計算グラフへ移し、WebGPUでCPUフォールバックを起こしていた処理をGPU対応の算術演算へ置き換えた。512×512では、フレームレートが10fps未満から30fps超になったとGoogleは説明している。
意義と注意点
LiteRT Tensorのポイントは、単にC++でモデルを書くことではない。バックエンド固有の接着コードを減らし、前処理や後処理まで含む処理の流れを、検証可能なグラフとして設計できる点にある。リアルタイム映像のようにバッファーコピーが積み重なる用途では、モデルの演算最適化と同じくらい重要になり得る。構造化されたグラフは、コーディングエージェントが複数の実装を試し、性能を比較するための作業面にもなる。
一方、Arm AIのLaurence Moroney氏は、まずモデル変換から始め、グラフ全体の制御が必要な場合や、前処理・後処理をアクセラレーター上に残したい場合にC++ APIを検討すべきだと指摘している。つまり、LiteRT Tensorはすべての端末プロジェクトの入口ではなく、高度な最適化を必要とする場面向けの選択肢である。
Googleは今後、ML Driftバックエンドのネイティブ対応、NPU向け演算の拡充、グラフ全体の自動量子化、画像サイズやバッチサイズ、系列長に対応する動的形状の拡張を計画している。実際の優位性は、対応バックエンド、演算子の成熟度、実機での開発体験によって決まるだろう。
出典:InfoQ 中文
コメント
ログイン状態を確認中…
コメントを読み込み中…