아티클 목록으로

WM^MLLM, 생성기 바깥에 세계 상태를 저장하다

약 3분 소요

생성된 장면이 자연스러워 보여도, 같은 장소를 다시 찾았을 때 이전 상태가 유지된다는 뜻은 아니다. 비디오 기반 세계 모델은 사용자가 시점을 돌리거나 되돌아올 때 생성기가 환경을 다시 만들 수 있다. 이 과정에서 이전에 편집한 물체가 이동하거나 사라질 수 있다. WM^MLLM은 세계 전체를 생성기의 문맥에 맡기는 대신, 수정 이력이 있는 파노라마로 세계 상태를 명시적으로 저장하는 방식을 제안한다.

상태를 유지하고, 그 상태에서 시점을 생성

시스템은 한 장의 이미지에서 시작한다. 사용자는 새로운 장소로 이동하거나, 텍스트 또는 영역 지정으로 물체를 편집하고, 대상을 배치하거나, 조명·날씨·계절을 바꿀 수 있다. 멀티모달 대규모 언어 모델(MLLM)은 요청을 세계 상태에 대한 작업으로 변환한다. 국소 편집을 어디에 기록할지도 정하고, 후보 결과를 검토한 뒤 다음 상태로 반영한다. 이미지 생성기는 시점을 제안하고 비디오는 이를 보여준다. 세계를 보존하는 역할 전체를 생성기에 맡기지 않는 것이 핵심이다.

이 구조에서 지속성은 생성 모델이 잘 기억해 주기를 바라는 기능이 아니라, 시스템 설계로 관리하는 속성이다. 각 요청은 직전 결과를 바탕으로 이어진다. 같은 버전에서 같은 장소를 다시 보면 이전 시점을 정확히 재현하도록 설계되어 있다. 국소 편집은 지정한 영역에 한정되며, 그 바깥의 파노라마 픽셀은 바뀌지 않는다. 생성 결과의 일관성에 기대기보다, 상태 관리로 변화를 제한하는 접근이다.

논문이 보고한 평가 결과

저자들은 MBench-A에서 WM^MLLM을 여섯 가지 세계 모델 기준선과 비교해, 환경 복원 관련 네 지표의 평균에서 가장 높은 성능을 얻었다고 보고한다. Epipolar 지표는 91.5였고, 비교 방법의 보고 범위는 0.1~74.0이다. 카메라 왕복 작업 완료율은 85.3%로, 다른 방법의 최고치인 50.9%를 웃돌았다. 112건의 블라인드 평가를 거친 국소 편집에서는 생성 후 기록 영역을 선택하는 방식으로 완료율이 34.8%에서 83.0%로 높아졌다. 또한 WBench와 MBench-A의 258개 항목에서 재방문 46회 모두 이전 시점을 복원했다고 요약 자료는 전한다. 이는 논문이 보고한 평가 결과이며 모든 장면에서 동일한 성능을 보장하는 것은 아니다.

의미와 남은 질문

세계 상태를 생성기와 분리하면 대화형 환경을 추적하고 수정하며 다시 방문하기 쉬워질 수 있다. 여러 차례 이어지는 요청도 매번 새 장면을 만드는 대신 기존 세계를 기준으로 처리할 수 있다. 다만 파노라마 표현을 대규모·다중 공간 또는 동적인 3D 환경으로 확장할 수 있는지는 자료에서도 미해결 과제로 제시된다. 시스템 비용이나 다양한 가림 현상, 장기적인 변화에 대한 처리 방식도 제공된 정보만으로는 판단하기 어렵다. 따라서 WM^MLLM은 유망한 평가 결과를 가진 아키텍처 제안으로 볼 수 있지만, 실제 적용 범위는 더 폭넓은 검증을 거쳐야 한다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
Code World Model 2.0, 구조 프록시로 제어 가능한 영상 생성
월드 모델
cctest.ai
월드 모델

Code World Model 2.0, 구조 프록시로 제어 가능한 영상 생성

Invoker-Render는 구조 프록시와 외관 참조 이미지, 언어 지시를 결합해 오프라인 영상 제작과 실시간 스트리밍을 함께 겨냥합니다. Progressive Forcing은 4단계 생성에서 장시간 누적되는 드리프트를 줄이려는 학습 방식입니다.

더 보기
CCTest · Blog
코드가 세계를 만든다면, 비디오 모델은 렌더링만 할 수 있을까
월드 모델
cctest.ai
월드 모델

코드가 세계를 만든다면, 비디오 모델은 렌더링만 할 수 있을까

WorldDraft는 프로그램으로 정의된 4D 세계의 움직임과 카메라 경로를 유지하면서 비디오 모델이 텍스트로 지정된 외관을 구현할 수 있는지 평가한다. 결과는 세계 보존과 외관 충실도의 균형이 여전히 어렵다는 점을 보여준다.

더 보기