InstantHMR：让手机实时恢复人体三维网格

导语

从一张普通图片中恢复人体的三维姿态与表面网格，是计算机视觉走向 AR/VR、运动健身、机器人和生物力学应用的重要环节。问题在于，移动设备既缺少桌面 GPU 的算力，又需要在低延迟下处理完整人体几何。许多方法要么精度较高但难以在手机上运行，要么为了速度明显牺牲重建质量。

InstantHMR 的目标正是缩小这道鸿沟：在单张图像输入下，直接回归人体参数，并输出较为完整的三维身体网格。研究团队发布了一组面向移动推理的开源模型，核心采用 Momentum Human Rig（MHR）参数化模型，训练数据则仅来自公开可用的 SAM 3D Body 数据集标注。

核心要点

• 面向手机端优化。 在三星 Galaxy S23 的 NPU 上，InstantHMR 为单人恢复一个包含 6,890 个顶点的身体网格，延迟为 5.5 毫秒。
• 桌面端速度更低。 在 NVIDIA RTX 4070 GPU 上，报告的单人延迟为 0.98 毫秒，显示出模型在不同推理平台上的较高效率。
• 速度与精度保持平衡。 在 3DPW、EMDB 和 RICH 数据集上，PA-MPJPE 分别为 40.0、48.8 和 41.7 毫米，整体达到具有竞争力的水平。
• 比较过程更系统。 团队按照与相近 MHR 方法一致的协议，重新评估了 11 个先进方法，并纳入 Meta 官方提供的 MHR 到 SMPL 转换流程，以减少不同实现和评测设置带来的偏差。
• 覆盖多种部署目标。 论文报告了从桌面 TensorRT 到两类手机 NPU 在内的八种目标平台延迟，并公开代码与模型。

如何理解这项工作

InstantHMR 的价值不只是一个更快的模型，而是把“可在移动端运行”作为设计目标纳入人体网格恢复流程。研究结果显示，在手机 NPU 上，它比论文中唯一兼容移动端、但精度略高的方法快约 12 倍。这意味着开发者在实时应用中不必完全依赖云端或高性能电脑，手机本地也有机会持续处理人体姿态和形体信息。

当然，单张图像恢复仍然受到遮挡、视角、深度歧义以及服装变化等因素影响。当前材料主要提供单帧模型的速度和基准精度，尚不能据此推断其在连续视频稳定性、复杂多人场景或极端姿态下的表现。与此同时，MHR 与 SMPL 等不同人体表示之间的转换，也需要在应用中关注评测口径和兼容性。

总体来看，InstantHMR 更像是一项面向部署的工程化推进：它没有只追求实验室精度，而是公开测量多个硬件目标上的延迟，并将模型放入移动端实际约束中考察。对于 AR 试穿、健身反馈、动作交互和端侧人体分析等方向，这种速度、开源性与可复现评测的结合，可能比单纯刷新离线指标更具应用价值。

来源：Hugging Face Daily Papers