EvoWorld, 카메라 밖의 세계까지 진화시키는 비디오 생성 모델

들어가며

비디오 생성 모델은 짧은 영상을 만드는 도구를 넘어 시각적 세계를 시뮬레이션하는 모델로 기대받고 있다. 하지만 화면이 자연스럽다는 사실만으로 세계가 일관되게 변화한다고 보기는 어렵다. 예를 들어 야생동물이 등장했다면 모델은 동물의 모습을 그리는 데 그치지 않고, 주변 사람이 도망칠지, 숨을지, 맞설지를 장면의 맥락에 따라 추론해야 한다. 그 사람이 잠시 화면 밖으로 사라졌다가 다시 등장하더라도, 앞서 발생한 사건의 영향이 행동과 상태에 남아 있어야 한다.

픽셀의 연속성에서 상태의 연속성으로

확산 기반 비디오 모델은 주로 시각적 사실성과 짧은 시간 범위의 일관성을 최적화한다. 반면 사람, 사물, 관계, 사건으로 구성된 세계의 상태를 생성 과정에서 명시적으로 유지하는 기능은 충분하지 않을 수 있다. 그래서 영상은 그럴듯해 보여도 인물의 행동이 정지되어 있거나, 사건과 결과 사이의 연결이 약하거나, 다시 등장한 주체가 이전 상황을 잊은 것처럼 보일 수 있다.

EvoWorld는 이 문제를 ‘시야 밖 인과적 진화(Out-of-Sight Causal Evolution)’로 정의한다. 모델은 먼저 사건을 영상으로 표현하고, 이어서 그 사건이 사람과 사물, 환경의 상태를 어떻게 바꾸는지 추론해야 한다. 또한 핵심적인 변화가 화면 밖에서 진행된 뒤, 인과적으로 타당한 결과를 다시 화면에 보여줘야 한다. 즉, 필요한 것은 단순한 외형 기억이 아니라 계속 변화하는 세계의 상태를 유지하고 다음 생성에 활용하는 능력이다.

‘두뇌와 렌더러’의 협력

EvoWorld는 추론과 시각적 구현을 분리한다. 비전-언어 모델은 세계의 ‘두뇌’ 역할을 맡아 이미 생성된 비디오 세그먼트를 관찰하고, 등장 주체와 관계, 발생한 사건을 정리한다. 그런 다음 가능한 상태 전이를 추론한다. 세그먼트 자기회귀형 비디오 렌더러는 이 고수준 정보를 실제 영상으로 변환한다.

이 구조가 목표로 하는 기능은 다음과 같다.

• 사건에 따른 반응: 사건이 발생한 뒤 관련 주체의 상태와 행동이 달라져야 한다.
• 주체와 장면의 재방문: 인물이나 장소가 다시 나타날 때 과거 상태와의 연결을 유지해야 한다.
• 화면 밖의 동역학: 일시적으로 보이지 않는 주체도 세계 안에서 계속 움직일 수 있어야 한다.

연구팀은 학습과 평가를 위해 EvoWorld-Data와 EvoWorld-Bench도 제안했다. 두 자원은 사건 구현, 인과적 반응, 주체 및 장면 재방문 시의 일관성을 다룬다. 제공된 초록에 따르면 실험에서 EvoWorld는 시각적 품질과 일관성을 유지하면서 사건 조건부 인과적 진화에서 최근 모델보다 나은 결과를 보였다. 다만 제공된 자료에는 구체적인 수치와 세부 실험 조건이 없으므로, 이를 모든 측면에서의 종합적 우위로 확대해석해서는 안 된다.

의미와 남은 과제

EvoWorld는 평가 기준을 ‘이 프레임이 현실적으로 보이는가’에서 ‘이 세계가 일어난 사건에 맞춰 계속 행동하는가’로 확장한다. 이는 장시간 비디오, 인터랙티브 시뮬레이션, 향후 생성형 세계 모델을 설계하는 데 중요한 문제 설정이 될 수 있다.

동시에 한계도 분명하다. 잘못된 상태 업데이트가 시간이 지나며 누적될 수 있고, 렌더러가 추론된 전이를 정확히 영상으로 옮기지 못할 수도 있다. 여러 주체가 복잡하게 상호작용하는 상황과 더 긴 시간 범위에서의 인과적 일관성도 추가 검증이 필요하다. 그럼에도 EvoWorld가 제시하는 방향은 분명하다. 미래의 비디오 모델은 세계를 그럴듯하게 그리는 것뿐 아니라, 세계가 왜 그렇게 변했는지를 계속 유지해야 한다.

출처: Hugging Face Daily Papers