영상 이해에서 세계 모델로: 비디오 AI를 보는 네 가지 작동 방식

들어가며

영상은 세계 그 자체가 아니라 카메라가 포착한 제한적인 기록이다. 화면 밖의 영역과 가려진 물체는 프레임에 나타나지 않으며, 영상에는 시점과 시간 순서라는 제약도 있다. 자동차가 벽 뒤로 이동하면 화면에서는 사라지지만 실제 세계에서 사라진 것은 아니다. 「Reading, Writing, Sharing, and Interacting with the World through Video」는 이 관찰을 바탕으로 영상 이해, 영상 생성, 통합 모델, 비디오 세계 모델을 ‘세계 모델링’이라는 공통된 관점에서 다시 정리한다.

네 가지 작동 방식

서베이는 관련 연구를 다음 네 가지 능력으로 나눈다.

• 읽기(Reading): 관측된 영상에서 물체, 행동, 관계, 상태 등 잠재적인 세계의 특성을 추론한다.
• 쓰기(Writing): 텍스트나 조건, 학습된 세계 상태를 바탕으로 보이는 영상을 합성한다.
• 공유하기(Sharing): 이해와 생성을 공통 모델 메커니즘으로 처리해 ‘영상을 보는 모델’과 ‘영상을 만드는 모델’을 연결한다.
• 상호작용하기(Interacting): 행동이 발생하고 새로운 관측이 들어올 때 세계 상태를 예측하고 갱신한다.

이 분류는 모델이 영상을 인식하거나 생성할 수 있는지를 넘어, 관측과 계속 변하는 세계 사이의 관계를 얼마나 학습했는지를 묻는다.

매끄러운 영상이 곧 일관된 세계는 아니다

현재 영상 생성 모델은 시각적 품질, 자연스러운 움직임, 짧은 구간의 시간적 일관성을 주로 평가받는다. 하지만 프레임이 자연스럽게 이어져도 물체의 정체성이 바뀌거나, 가려졌던 물체의 상태를 잊거나, 행동의 결과가 인과적으로 틀릴 수 있다.

따라서 서베이는 관측된 영상 시퀀스의 시간적 일관성과 영상이 암시하는 세계 상태의 일관성을 구별한다. 전자는 인접 프레임이 얼마나 부드럽게 연결되는지에 관한 것이고, 후자는 물체의 지속성, 공간 관계, 물리 법칙, 사건의 결과가 유지되는지에 관한 것이다. 겉보기의 자연스러움만으로 세계 모델 능력을 입증할 수는 없다.

연구는 평가를 단계적으로 바라볼 것을 제안한다. 출력은 우선 그럴듯해야 하고, 입력 조건을 따라야 하며, 더 나아가 일관된 세계 상태를 유지해야 한다. 최종적으로는 실제 하위 과제와 의사결정에 도움을 줘야 한다. 이 기준에서 단순히 현실적인 영상을 만드는 모델은 세계 모델의 일부 조건만 충족한다.

바뀌는 연구 초점

600개가 넘는 관련 연구를 대상으로 과제, 표현, 아키텍처, 데이터셋, 제어, 메모리, 지연시간, 물리적 grounding, 응용과 벤치마크를 검토한 결과, 연구의 중심은 클립 단위 인식과 지각적 충실도에서 지속적인 상태, 제어 가능한 변화, 물리·인과적 타당성, 상호작용과 의사결정 중심의 평가로 이동하고 있다.

또한 비디오 세계 모델을 무엇을 예측하는지, 상태 전이를 어떻게 다루는지라는 두 축으로 분류한다. 모델은 픽셀 같은 관측을 예측할 수도 있고 잠재 상태를 예측할 수도 있다. 전이는 수동적일 수도, 행동 조건에 따라 일어날 수도, 실제 상호작용을 지원할 수도 있다.

장기 일관성, 물리·인과적 grounding, 라벨 없는 영상에서의 제어 학습, 장면과 구현체를 넘어선 일반화, 확률적 세계와 희귀 사건의 모델링은 여전히 과제다. 앞으로의 벤치마크는 영상 유사도만 비교할 것이 아니라, 개입 이후의 예측과 실제 판단의 유용성을 검증해야 한다.

출처: Hugging Face Daily Papers