WorldFlow, 미래 영상과 3D 움직임을 함께 예측하는 월드 모델

들어가며

로봇이 현실 환경에서 행동하려면 다음 장면이 어떻게 보일지만 예측해서는 부족하다. 물체가 3차원 공간에서 어느 방향으로 얼마나 이동하는지, 그 움직임이 장면의 공간 관계와 일치하는지도 알아야 한다. 기존 영상 월드 모델은 3D 동역학을 시각 표현 안에 암묵적으로 남기는 경우가 많고, 행동 조건 모델은 특정 로봇의 형태나 제어 인터페이스에 묶이기 쉽다. WorldFlow는 미래 영상과 명시적인 3D 객체 궤적을 함께 생성하는 방식으로 이 문제에 접근한다.

시각 변화와 공간 운동의 결합

WorldFlow가 다루는 핵심 과제는 질의 기반 3D 궤적 예측이다. 단순히 그럴듯한 미래 영상을 만드는 대신, 지정된 객체나 공간상의 점이 앞으로 어떤 경로를 따라갈지 예측한다. 3D 움직임은 연속 변위 토큰으로 표현되며 영상 격자의 위치와 정렬된다. 따라서 이미지의 국소적인 변화와 실제 공간에서의 이동을 하나의 공유 구조 안에서 연결할 수 있다.

모델은 Mixture-of-Transformers（MoT）백본을 사용하고 rectified-flow 목적 함수 아래에서 영상과 3D 움직임을 공동으로 디노이징한다. 핵심은 단순히 기하학적 예측 헤드를 추가한 것이 아니다. 영상의 변화와 명시적인 기하학적 감독을 결합함으로써, 사전 학습된 영상 모델이 가진 객체와 상호작용, 움직임에 관한 지식을 3D 위치 변화 학습에 활용한다.

대규모 학습과 평가

연구진은 이 통합 구조가 특정 환경을 넘어 일반화되는지 확인하기 위해 시뮬레이션과 실제 세계를 모두 포함하는 이종 데이터로 학습했다. 전체 학습 규모는 144만 개 객체 수준 샘플이다. 또한 11개 데이터 소스에서 1678개 평가 샘플을 모은 WorldFlowBench를 제안했다. 이 벤치마크에는 시뮬레이션 상호작용, 실제 세계 상호작용, 공간 추론 과제가 포함된다.

논문 초록에 따르면 WorldFlow는 세 개의 평가 세트 모두에서 비교된 학습 기반 방법 중 평균 변위 오차（ADE）와 최종 변위 오차（FDE)가 가장 낮았다. 난도가 높은 SpatialCog에서는 ADE 0.060m를 기록했으며, 제공된 요약은 비교 방법 대비 54.2% 감소했다고 설명한다. 다만 소재가 해당 문장에서 잘려 있어 비교 기준의 정확한 이름은 확인할 수 없다. 결과는 움직임만 감독하는 방식이나 순수한 암묵적 영상 표현보다 영상과 기하 정보를 함께 학습하는 방식이 물체 운동 학습에 더 풍부한 신호를 줄 수 있음을 시사한다.

의미와 남은 과제

WorldFlow는 특정 로봇 구성에 의존하지 않고 객체 운동을 예측하는 방향을 제시한다. 명시적인 궤적은 공간 추론, 상호작용 계획, 향후 월드 액션 모델에 활용될 수 있으며, 영상 생성은 예측된 궤적을 해석하는 시각적 맥락을 제공한다. 이는 월드 모델을 그럴듯한 장면 생성에서 물리 공간에서 검증 가능한 상태 예측으로 확장하려는 흐름과 맞닿아 있다.

그러나 제공된 자료만으로는 장기 예측, 심한 가림, 복잡한 접촉, 실제 로봇의 폐루프 제어에서 성능이 어떤지는 판단하기 어렵다. 예측된 궤적이 곧바로 실행 가능한 행동 계획을 의미하는 것도 아니다. 앞으로는 이 예측을 실제 의사결정에 연결했을 때 안정성과 유용성이 유지되는지 검증해야 한다. 그럼에도 WorldFlow는 영상과 3D 움직임을 동일한 세계의 두 가지 변화로 보고 함께 학습하는 명확한 연구 방향을 보여준다.

출처: Hugging Face Daily Papers