VPM, 점 궤적 예측으로 다중 시점 영상과 3D 세계를 연결하다

들어가며

그럴듯한 미래 영상을 생성한다고 해서 세계 모델이 실제 세계를 이해한다고 단정하기는 어렵다. 여러 카메라가 같은 장면을 관찰하는 상황에서는 문제가 더 복잡해진다. 동일한 물체도 카메라에 따라 다르게 보이기 때문에, 픽셀 변화만 학습한 모델은 각 영상만 보면 자연스럽지만 서로 양립하지 않는 미래를 만들 수 있다. 다중 시점 예측에는 하나의 3D 장면이 시간에 따라 어떻게 변하는지를 공유하는 표현이 필요하다.

픽셀과 함께 점의 움직임을 예측

연구팀은 Video-Point Model, 즉 VPM을 제안했다. VPM은 사전 학습된 세계 모델에 카메라 조건부 다중 시점 처리 기능을 추가하고, 장면 점의 궤적을 예측하는 헤드를 결합한다. 여러 카메라의 영상 이력과 언어 지시를 입력으로 받아 임의의 시점에서 본 미래 영상과 지속적인 장면 점의 3D 궤적을 동시에 예측한다.

이때 점은 특정 이미지에 종속된 픽셀이 아니라 물리적 장면의 한 지점을 의미한다. 하나의 궤적은 여러 시점과 시간에 걸쳐 같은 점을 추적하도록 설계된다. 따라서 색상, 질감, 가림과 같은 외관 변화도 동일한 3차원 운동 설명과 일관성을 유지해야 한다.

핵심은 두 작업을 함께 감독하는 데 있다. 영상 생성은 미래의 외관과 장면 변화를 학습하고, 궤적 예측은 점과 물체가 어떻게 움직이는지에 대한 기하학적 제약을 제공한다. 모델은 “미래에 무엇이 보이는가”뿐 아니라 “장면의 요소가 어디로 이동하는가”까지 설명해야 한다.

데이터와 평가 체계

연구팀은 VPM 학습과 평가를 위해 동기화된 다중 시점 영상과 지속 점 궤적을 짝지은 시뮬레이션 코퍼스 VPM-Data를 구축했다. 또한 시뮬레이션 환경과 실제 환경을 포함하는 VP-WorldBench를 제시해 다중 시점 예측과 4D 운동 모델링을 평가한다.

제공된 논문 요약에 따르면 VP-WorldBench와 기존 4D 생성 벤치마크에서 점 감독을 추가한 VPM은 영상만 학습한 비교 모델보다 영상 충실도와 3D 운동 정확도에서 개선을 보였다. 다만 소재에는 구체적인 수치가 제시되지 않았으므로, 이 결과는 정량적 격차가 아니라 논문이 보고한 전반적인 경향으로 이해해야 한다.

로봇 제어로의 확장

VPM은 로봇 제어에도 확장됐다. 연구팀은 로봇 행동을 생성기 안의 토큰 모달리티로 표현하고, 행동 토큰이 점 궤적 감독을 받은 백본을 영상 예측과 공유하도록 했다. 미래 영상과 행동 토큰을 함께 디노이징함으로써 인식, 미래 예측, 행동 정책을 하나의 3D 인식 표현에 연결하려는 것이다.

요약에 따르면 시뮬레이션과 실제 로봇 실험에서 점 감독을 적용한 행동 모델은 더 높은 조작 성공률을 보였다. 그러나 이 결과가 적용되는 범위는 실험 과제, 환경, 비교 기준에 따라 달라진다. 제공된 정보만으로 모든 로봇 작업에 동일한 효과가 있다고 확대 해석할 수는 없다.

의미와 과제

VPM의 의미는 점 궤적을 다중 시점 인식, 미래 영상 생성, 로봇 행동을 연결하는 중간 표현으로 사용했다는 데 있다. 단순히 영상을 사실적으로 만드는 것을 넘어, 물체의 지속성, 공간 관계, 장면 운동의 일관성을 모델링하려는 방향이다.

물론 해결해야 할 문제도 남아 있다. 신뢰할 수 있는 시점 간 대응을 확보하기 어렵고, 가림, 반사, 비강체 변형, 카메라 움직임은 궤적 예측을 복잡하게 만든다. 시뮬레이션 데이터와 현실 세계 사이의 차이도 변수다. 앞으로는 더 긴 시간 범위, 개방적인 환경, 다양한 로봇 과제에서 점 기반 표현이 얼마나 일반화되는지가 중요한 검증 대상이 될 것이다.

출처：Hugging Face Daily Papers