WorldMemBench, 비디오 월드 모델의 기억 능력을 시험하다

비디오 생성 모델이 더 길고 상호작용적인 경험을 만들어내기 시작하면서, 단순한 화질이나 영상 길이만으로는 모델의 능력을 설명하기 어려워지고 있다. 중요한 질문은 모델이 세계의 과거를 기억하고, 현재 화면에 보이지 않는 동안 일어난 사건의 결과까지 유지할 수 있는가이다. 인물이 카메라 밖으로 사라진 뒤에도 같은 정체성과 외관을 유지하는지, 물체의 위치와 형태가 돌아왔을 때 보존되는지, 사건으로 바뀐 환경 상태가 계속 남아 있는지가 핵심이다.

WorldMemBench는 이러한 ‘세계 기억’을 체계적으로 측정하기 위해 제안된 벤치마크다. 기억을 하나의 시각 유사도 점수로 단순화하지 않고 정적 기억과 동적 기억으로 나누어 평가한다. 통제된 카메라 이탈과 다중 재방문 경로를 사용해, 모델이 일시적으로 관측하지 못한 세계를 어떻게 유지하는지 살펴본다.

주요 평가 항목은 다음과 같다.

• 사람 기억: 인물의 정체성과 외관 보존 여부.
• 사물 기억: 물체의 시각적 특징, 위치 관계, 기하 구조의 일관성.
• 환경 기억: 장면의 내용과 공간 구조 유지 여부.
• 사건 기억: 사건이 예상대로 진행되고 그 결과 상태가 지속되는지 여부.
• 보조 진단: 영상 품질과 카메라 추종 정확도를 함께 측정해 기억 문제와 생성·제어 문제를 구분한다.

WorldMemBench는 260개 테스트 사례로 구성되며, 9개 대표 모델을 평가했다. 핵심 결과는 정적 콘텐츠를 잘 보존하는 모델이 반드시 동적 세계의 변화를 안정적으로 이어가는 것은 아니라는 점이다. 모델이 초기 장면과 비슷한 인물이나 환경을 다시 만들어내더라도, 과거 사건으로 인해 바뀐 상태를 기억하지 못할 수 있다. 또한 첫 번째 재방문에서 양호해 보이는 모델도 재방문이 반복되면 기억 성능이 점차 저하될 수 있다.

이 구분은 게임, 가상 환경, 장시간 영상 생성처럼 세계가 사용자 행동의 결과를 축적해야 하는 분야에서 특히 중요하다. 사용자는 매번 비슷한 이미지를 보는 것이 아니라, 과거의 사건에 반응하고 시간이 지나도 일관성을 유지하는 하나의 세계를 기대한다. WorldMemBench는 외관과 기하의 일관성뿐 아니라 사건별 상태 변화를 함께 점검하므로, 단순한 프레임 비교보다 실패 원인을 진단하는 데 유용하다.

연구진은 자동 평가 결과가 사람의 판단과도 대체로 부합한다고 보고했다. 다만 이 벤치마크가 지속적 기억을 구현하는 방법 자체를 제공하는 것은 아니다. 그 의미는 기억이 언제, 어떤 방식으로 무너지는지 비교 가능한 기준으로 보여주고, 비디오 월드 모델 연구를 단기적인 시각 연속성에서 장기적이고 상호작용 가능한 세계 유지로 확장하는 데 있다.

출처: Hugging Face Daily Papers