생성된 장면이 자연스러워 보여도, 같은 장소를 다시 찾았을 때 이전 상태가 유지된다는 뜻은 아니다. 비디오 기반 세계 모델은 사용자가 시점을 돌리거나 되돌아올 때 생성기가 환경을 다시 만들 수 있다. 이 과정에서 이전에 편집한 물체가 이동하거나 사라질 수 있다. WM^MLLM은 세계 전체를 생성기의 문맥에 맡기는 대신, 수정 이력이 있는 파노라마로 세계 상태를 명시적으로 저장하는 방식을 제안한다.
상태를 유지하고, 그 상태에서 시점을 생성
시스템은 한 장의 이미지에서 시작한다. 사용자는 새로운 장소로 이동하거나, 텍스트 또는 영역 지정으로 물체를 편집하고, 대상을 배치하거나, 조명·날씨·계절을 바꿀 수 있다. 멀티모달 대규모 언어 모델(MLLM)은 요청을 세계 상태에 대한 작업으로 변환한다. 국소 편집을 어디에 기록할지도 정하고, 후보 결과를 검토한 뒤 다음 상태로 반영한다. 이미지 생성기는 시점을 제안하고 비디오는 이를 보여준다. 세계를 보존하는 역할 전체를 생성기에 맡기지 않는 것이 핵심이다.
이 구조에서 지속성은 생성 모델이 잘 기억해 주기를 바라는 기능이 아니라, 시스템 설계로 관리하는 속성이다. 각 요청은 직전 결과를 바탕으로 이어진다. 같은 버전에서 같은 장소를 다시 보면 이전 시점을 정확히 재현하도록 설계되어 있다. 국소 편집은 지정한 영역에 한정되며, 그 바깥의 파노라마 픽셀은 바뀌지 않는다. 생성 결과의 일관성에 기대기보다, 상태 관리로 변화를 제한하는 접근이다.
논문이 보고한 평가 결과
저자들은 MBench-A에서 WM^MLLM을 여섯 가지 세계 모델 기준선과 비교해, 환경 복원 관련 네 지표의 평균에서 가장 높은 성능을 얻었다고 보고한다. Epipolar 지표는 91.5였고, 비교 방법의 보고 범위는 0.1~74.0이다. 카메라 왕복 작업 완료율은 85.3%로, 다른 방법의 최고치인 50.9%를 웃돌았다. 112건의 블라인드 평가를 거친 국소 편집에서는 생성 후 기록 영역을 선택하는 방식으로 완료율이 34.8%에서 83.0%로 높아졌다. 또한 WBench와 MBench-A의 258개 항목에서 재방문 46회 모두 이전 시점을 복원했다고 요약 자료는 전한다. 이는 논문이 보고한 평가 결과이며 모든 장면에서 동일한 성능을 보장하는 것은 아니다.
의미와 남은 질문
세계 상태를 생성기와 분리하면 대화형 환경을 추적하고 수정하며 다시 방문하기 쉬워질 수 있다. 여러 차례 이어지는 요청도 매번 새 장면을 만드는 대신 기존 세계를 기준으로 처리할 수 있다. 다만 파노라마 표현을 대규모·다중 공간 또는 동적인 3D 환경으로 확장할 수 있는지는 자료에서도 미해결 과제로 제시된다. 시스템 비용이나 다양한 가림 현상, 장기적인 변화에 대한 처리 방식도 제공된 정보만으로는 판단하기 어렵다. 따라서 WM^MLLM은 유망한 평가 결과를 가진 아키텍처 제안으로 볼 수 있지만, 실제 적용 범위는 더 폭넓은 검증을 거쳐야 한다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…