HarmoHOI: 다중 시점 손-물체 상호작용을 외관과 3D 운동으로 함께 생성

도입

손-물체 상호작용(HOI) 합성은 애니메이션 제작과 embodied AI에서 중요한 기반 기술이다. 하지만 여러 시점에서 동시에 일관되게 생성하려면 생각보다 훨씬 어렵다. 손의 움직임은 복잡하고, 물체는 자주 가려지며, 시점이 달라지면 자세가 쉽게 어긋난다. HarmoHOI는 이 문제를 단순한 영상 품질의 문제가 아니라, 외관과 3D 운동을 함께 맞춰야 하는 생성 문제로 본다.

핵심 포인트

• RGB 비디오와 3D 포인트 트랙을 동시에 생성하는 통합 확산 모델.
• 3D 트랙을 pseudo-video 형태로 표현해 2D 기반 파운데이션 모델의 잠재공간과 더 잘 맞추도록 설계.
• Global Motion Aligning Diffusion으로 거친 궤적을 metric-scale에 가까운 전역 정렬 3D 궤적으로 보정.
• 노이즈 제거 과정에서 2D 외관과 3D 운동이 함께 진화하도록 구성.
• 다중 시점 HOI 데이터 부족을 보완하기 위해 단일 시점 데이터의 선행지식을 단계적으로 이전하는 학습 전략 사용.

의미와 영향

이 연구의 중요한 점은 다중 시점 일관성을 단순히 프레임이 예쁘게 나오는 문제로 보지 않는다는 데 있다. 실제로는 여러 카메라에서 같은 손 자세와 물체 위치가 유지되어야 하며, 이를 위해서는 3D 기하 구조의 정합이 필요하다. HarmoHOI는 이 기하를 생성 과정의 중심에 놓아 시점 간 불일치를 줄이려 한다.

적용 가능성도 넓다. 애니메이션 사전 제작, 대화형 콘텐츠 생성, 로봇 조작 데이터 합성 등에 도움이 될 수 있다. 특히 embodied AI에서는 잡기, 건네기, 놓기 같은 정교한 조작 행동을 학습하는 데 유용한 합성 데이터를 제공할 가능성이 있다.

편집 관점

HarmoHOI는 확산 모델을 단순한 영상 생성기에서, 공간 구조를 가진 행동 생성기로 확장하려는 시도로 볼 수 있다. 만약 더 다양한 물체와 동작으로 확장해도 안정성을 유지한다면, HOI 합성의 중요한 기반 기술이 될 수 있다.

출처: Hugging Face Daily Papers