InstantHMR, 스마트폰에서 실시간 3D 인체 메시 복원

들어가며

한 장의 이미지에서 사람의 자세와 신체 표면을 3차원으로 복원하는 기술은 AR/VR, 로보틱스, 생체역학, 피트니스, 인터랙티브 게임 등 다양한 분야에 활용될 수 있습니다. 하지만 이를 스마트폰에서 실시간으로 실행하려면 상당한 제약을 해결해야 합니다. 모바일 기기는 데스크톱 GPU보다 연산 자원과 전력 예산이 제한적이며, 높은 정확도를 추구하는 모델은 느려지고 빠른 모델은 복원 품질을 희생하는 경우가 많습니다.

InstantHMR은 이러한 배포 환경의 문제를 정면으로 겨냥한 단일 이미지 인체 메시 회귀 모델군입니다. Momentum Human Rig(MHR) 파라미터 모델을 기반으로 인체를 표현하고, SAM 3D Body 데이터셋에서 공개된 어노테이션만 사용해 학습했습니다. 프로젝트는 모바일 추론을 염두에 둔 코드와 모델도 공개합니다.

핵심 포인트

• 모바일 추론에 최적화: 삼성 갤럭시 S23 NPU에서 6,890개 정점으로 구성된 인체 메시를 사람당 5.5밀리초에 복원합니다.
• 데스크톱 GPU에서도 빠른 처리: NVIDIA RTX 4070에서 보고된 지연 시간은 사람당 0.98밀리초입니다.
• 경쟁력 있는 정확도: PA-MPJPE는 3DPW에서 40.0밀리미터, EMDB에서 48.8밀리미터, RICH에서 41.7밀리미터였습니다.
• 비교 기준을 정비: MHR 기반의 유사 방법에 맞춘 통합 프로토콜로 11개 최신 방법을 다시 평가했습니다. Meta의 공식 MHR-SMPL 변환도 비교에 포함했습니다.
• 다양한 실행 환경 검증: 데스크톱 TensorRT부터 두 종류의 스마트폰 NPU까지 8개 타깃에서 지연 시간을 측정했습니다.

의미와 한계

InstantHMR의 핵심 가치는 단순히 더 빠른 숫자를 제시한 데 있지 않습니다. 모바일 기기에서 실제로 실행하는 것을 모델 설계의 주요 목표로 삼았다는 점이 중요합니다. 논문이 보고한 비교에서 InstantHMR은 모바일 호환 방법 가운데 정확도가 조금 더 높은 방법보다 약 12배 빠릅니다. 이 정도의 차이는 카메라 영상을 기기에서 직접 처리할 수 있는지, 아니면 클라우드나 고성능 컴퓨터에 의존해야 하는지를 좌우할 수 있습니다.

운동 자세 피드백, 아바타 제어, AR 상호작용, 온디바이스 신체 분석 같은 애플리케이션에서는 낮은 지연 시간과 네트워크 의존성 감소가 특히 중요합니다. 오픈소스 공개는 개발자가 특정 모바일 런타임에서 모델을 검증하고 응용하는 데 필요한 초기 비용도 낮출 수 있습니다.

다만 결과의 범위는 분명히 볼 필요가 있습니다. 단일 이미지 복원은 가림, 시점, 깊이의 모호성, 의복 변화에 영향을 받습니다. 제공된 자료는 주로 단일 프레임의 지연 시간과 벤치마크 정확도를 다루며, 시간적으로 안정적인 비디오 추적이나 복잡한 다인 장면, 극단적 자세에서의 성능을 입증한 것은 아닙니다. 또한 MHR과 SMPL처럼 인체 표현이 다르면 변환 방식과 평가 프로토콜이 결과 해석에 영향을 줄 수 있습니다.

실제 하드웨어에서 여러 플랫폼의 지연 시간을 측정하고, 통합 조건에서 비교하며, 코드와 모델을 공개했다는 점에서 InstantHMR은 연구용 3D 비전 모델을 모바일 배포에 한 단계 더 가깝게 만든 사례로 볼 수 있습니다.

출처: Hugging Face Daily Papers