InstantHMR、スマートフォンでリアルタイム人体3Dメッシュ復元

概要

1枚の画像から人体の姿勢と表面形状を3次元で復元できれば、AR/VR、ロボティクス、バイオメカニクス、フィットネス、インタラクティブゲームなどに応用できます。しかし、スマートフォンでこの処理をリアルタイムに実行するのは簡単ではありません。デスクトップGPUに比べてモバイル端末の計算資源や電力には制約があり、精度を重視したモデルは遅くなり、速度を重視したモデルは復元品質を落としがちです。

InstantHMRは、この実運用上のトレードオフを意識して設計された、単一画像用のオープンな人体メッシュ回帰モデル群です。人体の表現にはMomentum Human Rig（MHR）パラメトリックモデルを採用し、学習にはSAM 3D Bodyデータセットから得られる公開アノテーションだけを使っています。

主なポイント

• スマートフォン向けの速度: Samsung Galaxy S23のNPU上で、6,890頂点の人体メッシュを1人あたり5.5ミリ秒で復元します。
• GPUでも高速: NVIDIA RTX 4070では、報告された遅延は1人あたり0.98ミリ秒です。
• 競争力のある精度: PA-MPJPEは3DPWで40.0ミリメートル、EMDBで48.8ミリメートル、RICHで41.7ミリメートルでした。
• 比較条件を統一: MHR系の近い手法に合わせたプロトコルで、11の最先端手法を再評価しています。Meta公式のMHRからSMPLへの変換も比較に含めています。
• 複数の実行先を測定: デスクトップTensorRTから2種類のスマートフォンNPUまで、8つのターゲットで遅延を計測し、コードとモデルを公開しています。

意義と限界

InstantHMRの意義は、単にベンチマーク上の高速化を示したことだけではありません。モバイル端末で動作させることを、人体メッシュ復元モデルの設計目標として明確に扱っています。報告された比較では、モバイル対応手法のうち、精度でわずかに上回る手法に対して約12倍高速でした。カメラ映像を端末内で処理できる可能性が高まれば、ネットワーク接続やクラウド推論への依存を減らせます。

この特性は、運動フォームへのフィードバック、アバター制御、ARインタラクション、端末上の人体分析などに有用です。コードとモデルの公開も、特定のモバイルランタイムに合わせた検証を始める際の障壁を下げます。

一方で、単一画像からの復元は、遮蔽、視点、奥行きの曖昧さ、衣服の違いに影響されます。今回の素材が示しているのは主に単フレームの速度とベンチマーク精度であり、動画での時間的安定性、多人環境、極端な姿勢まで実証したものではありません。MHRとSMPLのように人体表現が異なる場合は、変換方法と評価条件にも注意が必要です。

実機での遅延を複数のターゲットにわたって公開し、統一条件で比較し、実装まで開放した点で、InstantHMRは研究結果を実際の端末へ近づける取り組みだと言えます。

出典：Hugging Face Daily Papers