記事一覧へ戻る
フレームワーク・ツール

GoogleのLiteRT Tensor API、エッジAI最適化を計算グラフへ

読了目安 3 分

エッジAIの性能は、ニューラルネットワークの演算量だけで決まらない。前処理、推論、後処理の間で発生するデータコピー、MetalやOpenCLなど異なるバックエンドへの対応、CPU・GPU・NPU間の同期が、実際のレイテンシーや消費電力を左右する。Googleが発表したLiteRT Tensor APIは、こうした課題を計算グラフのレベルで扱おうとするものだ。

APIの主な特徴

LiteRT Tensorは、演算子を一つずつ組み合わせて計算グラフを構築できる軽量なC++ APIである。モデル構造や最適化方針、アクセラレーターでの実行方法を細かく制御しながら、LiteRTを通じて同じグラフをCPU、GPU、NPUで動かせる。従来のように、対象ハードウェアが増えるたびにMetal、OpenCL、Vulkan向けの実装を書き直す負担を抑える考え方だ。

実運用を意識した機能も用意されている。

  • 重みの直接読み込み:チェックポイントから重みを直接読み込め、Hugging Faceの.safetensorsにも対応する。
  • ゼロコピーのバッファー連携:前処理、推論、後処理の間でアクセラレーターのバッファーを共有し、コピーを減らす。
  • コーディングエージェントとの連携:C++コードを生成して、グラフの構築、変更、検証、ベンチマークを行える。
  • クロスプラットフォーム実行:端末やバックエンドごとにモデルコードを作り直す必要を減らす。

Googleは、SAM 2を使った複数物体のセグメンテーションと追跡アプリでこの仕組みを示した。macOSのノートPC、iOS端末、Android端末で、同じC++コードをそれぞれMetal、Metal、OpenCL上で実行したという。報告されたテストでは、MacBook Pro上で、画像エンコーダーとマスクデコーダーをfp16で動かした場合、Apple MLXより約1.5倍高速だった。また、コーディングエージェントがSAM 2のフレーム単位の判断、たとえば対象が見えているかどうかを計算グラフへ移し、WebGPUでCPUフォールバックを起こしていた処理をGPU対応の算術演算へ置き換えた。512×512では、フレームレートが10fps未満から30fps超になったとGoogleは説明している。

意義と注意点

LiteRT Tensorのポイントは、単にC++でモデルを書くことではない。バックエンド固有の接着コードを減らし、前処理や後処理まで含む処理の流れを、検証可能なグラフとして設計できる点にある。リアルタイム映像のようにバッファーコピーが積み重なる用途では、モデルの演算最適化と同じくらい重要になり得る。構造化されたグラフは、コーディングエージェントが複数の実装を試し、性能を比較するための作業面にもなる。

一方、Arm AIのLaurence Moroney氏は、まずモデル変換から始め、グラフ全体の制御が必要な場合や、前処理・後処理をアクセラレーター上に残したい場合にC++ APIを検討すべきだと指摘している。つまり、LiteRT Tensorはすべての端末プロジェクトの入口ではなく、高度な最適化を必要とする場面向けの選択肢である。

Googleは今後、ML Driftバックエンドのネイティブ対応、NPU向け演算の拡充、グラフ全体の自動量子化、画像サイズやバッチサイズ、系列長に対応する動的形状の拡張を計画している。実際の優位性は、対応バックエンド、演算子の成熟度、実機での開発体験によって決まるだろう。

出典:InfoQ 中文

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
DeepSeek、検索・音声・OCRなどのアプリ機能APIを開放
フレームワーク・ツール
cctest.ai

DeepSeek、検索・音声・OCRなどのアプリ機能APIを開放

DeepSeekは、公式アプリで利用されてきたウェブ検索、ページ取得、OCR、音声認識、音声合成などの機能をAPIとして開放しました。各機能は個別に呼び出せるため、開発者は必要な部品だけを組み合わせて独自サービスを構築できます。

続きを読む