VideoPhysEdit, 물리적 편집 이후의 움직임을 예측하는 영상 편집

들어가며

최근 영상 편집 모델은 물체의 외형뿐 아니라 그림자, 가림, 부분 교체와 같은 시각적 결과도 점점 더 자연스럽게 처리하고 있습니다. 그러나 물리적 편집이 일어난 뒤 어떤 일이 이어져야 하는지를 일관되게 표현하는 문제는 여전히 어렵습니다. 특정 프레임에서 물체를 옮기거나 제거하면 이후의 충돌, 굴러감, 낙하, 가림 관계까지 달라질 수 있기 때문입니다. 현재 화면만 수정하는 방식은 겉보기에는 자연스러워도 이후 사건의 인과관계가 물리적으로 맞지 않을 수 있습니다.

VideoPhysEdit는 이 문제를 물리적 반사실 영상 편집(PCVE)으로 정의합니다. 원본 영상과 물리적 편집 내용, 편집이 실행되는 프레임이 주어지면 개입 이후의 움직임과 상호작용을 보여 주는 반사실 영상을 만들어야 합니다. 연구 대상은 강체 장면이며, 추가 학습 없이 작동하는 파이프라인을 제안합니다.

먼저 장면을 복원하고 개입한다

VideoPhysEdit의 핵심은 영상 생성 모델이 미래를 직접 추측하게 하지 않는 데 있습니다. 시스템은 먼저 입력 영상에서 시뮬레이션으로 원래의 움직임과 상호작용을 재현할 수 있는 물리 장면을 복원합니다. 이 과정은 강체의 형태와 상태, 운동, 접촉 관계 등 원본 영상을 설명하는 구조를 명시적으로 다루기 위한 것입니다.

그다음 사용자가 지정한 편집을 특정 실행 프레임에서 물리적 개입으로 적용합니다. 변경된 장면을 시뮬레이션해 개입 이후 각 물체가 어떻게 움직일지에 대한 궤적을 얻고, 이를 반사실 영상 생성의 가이드로 사용합니다. 즉, 생성 모델은 시각적 표현을 담당하고 물리 시뮬레이션은 이후 움직임에 대한 제약을 제공합니다.

물리적 결과를 평가하는 기준

논문은 PCVE-RigidBench라는 합성 벤치마크도 구축했습니다. 이 데이터셋은 원본 영상과 반사실 목표 영상의 쌍, 그리고 물리적 정답 정보를 포함합니다. 따라서 편집된 영역의 외형이 바뀌었는지만 보는 것이 아니라, 편집 뒤의 움직임과 상호작용이 의도한 결과인지 확인할 수 있습니다.

또한 Physical Edit Score라는 평가 지표를 제안합니다. 논문 초록에 따르면 VideoPhysEdit의 점수는 0.376이며, 비교된 오픈소스 방법과 상용 모델보다 물리적 편집 정확도가 크게 높았고 시각적 충실도도 경쟁력 있는 수준을 유지했습니다. 다만 이 결과는 강체 장면과 합성 벤치마크를 기반으로 하므로, 모든 현실 영상에서 동일한 성능을 보인다고 해석해서는 안 됩니다.

의미와 한계

VideoPhysEdit의 중요한 점은 영상 편집을 화면 재구성에서 실행 가능한 장면 개입으로 확장했다는 데 있습니다. 영화 프리비즈, 인터랙티브 콘텐츠, 로봇 데이터 생성, 월드 모델 평가에서는 한 장면의 선명함보다 사건의 연쇄가 물리적으로 일관되는지가 더 중요할 수 있습니다. 물리 시뮬레이션과 영상 생성 모델을 연결하는 구조는 장기적인 물리 관계를 생성 모델이 단독으로 학습하기 어려운 상황에서 실용적인 중간 계층이 될 수 있습니다.

물론 강체 가정은 분명한 제약입니다. 변형 물체, 유체, 복잡한 접촉, 실제 촬영 영상의 가림과 깊이 불확실성은 장면 복원을 훨씬 어렵게 만듭니다. 앞으로는 강체를 넘어선 환경으로 시뮬레이션과 생성의 연결을 확장하고, 실제 영상의 복잡성을 반영한 평가 체계를 마련해야 합니다.

출처: Hugging Face Daily Papers