코드가 세계를 만든다면, 비디오 모델은 렌더링만 할 수 있을까

들어가며

비디오 생성 모델은 보통 장면의 구성, 물체의 움직임, 카메라 제어, 시각적 스타일을 한꺼번에 처리해야 한다. 반면 멀티모달 코딩 에이전트는 코드로 물체와 공간 관계, 운동, 카메라 경로를 포함하는 실행 가능한 4D 세계를 만들 수 있다. 이 구조를 받아들인다면 비디오 모델은 세계를 직접 창조하는 대신, 이미 정의된 세계를 원하는 모습으로 바꾸는 생성형 렌더러가 될 수 있을까.

WorldDraft는 이 질문을 체계적으로 검증한다. 연구진은 결과 영상의 그럴듯함만 평가하지 않고 두 능력을 분리했다. 첫째는 지정된 4D 운동학과 카메라 경로를 유지하는 세계 보존이다. 둘째는 텍스트가 요구한 색상, 재질 등 목표 속성을 시간 전체에 걸쳐 일관되게 반영하는 시각적 구현이다.

통제된 평가 방식

WorldDraft는 48개 실행 가능한 4D 세계군에 걸친 432개 엄격한 쌍 테스트로 구성되며, 여섯 가지 동적 도전 유형을 포함한다. 3×3 요인 설계에서는 추상적인 프록시부터 프리비즈 수준까지 초안의 세밀도를 바꾸고, 외관 조건도 중립적인 경우부터 목표와 충돌하는 경우까지 조절한다. 동일한 동역학 조건을 유지하기 때문에 모델이 실제 세계의 구조를 보존했는지, 아니면 입력 영상의 외관을 단순히 따라 했는지를 비교할 수 있다.

평가가 보여준 핵심 결과는 다음과 같다.

• 구조 보존과 외관 구현은 충돌할 수 있다. 모델이 움직임과 카메라를 잘 유지하더라도 텍스트가 요구한 외관 변경을 놓칠 수 있다. 반대로 외관을 맞추는 과정에서 원래의 동역학이 흔들릴 수도 있다.
• 더 풍부한 초안은 양날의 검이다. 상세한 시각적 발판은 장면 구조를 고정하는 데 유리하지만, 초안의 질감과 스타일까지 복사하게 만들어 외관 지시를 따르는 능력을 떨어뜨릴 수 있다.
• 충돌하는 단서는 소스 누출을 일으킨다. 초안의 시각적 속성과 텍스트 목표가 다를 때 입력의 특성이 출력에 남는 현상이 나타난다. 보고된 소스 누출은 최대 64%에 달했다.

WorldDraft-Primer의 접근

연구진은 WorldDraft-Primer라는 플러그 앤 플레이 방식의 시각 프롬프팅 전략도 제시했다. 이 방법은 비디오 모델을 수정하거나 재학습하지 않고, 초안에서 보존해야 할 구조와 텍스트에 따라 다시 그려야 할 외관을 구분하도록 돕는다. 보고된 실험에서는 세계 보존과 시각적 구현을 모두 개선했다.

의미와 파급효과

WorldDraft의 의의는 새로운 평가 세트를 제시한 데 그치지 않는다. 프로그램 기반 시뮬레이션과 생성형 비디오 사이에 어떤 인터페이스가 필요한지를 보여준다. 앞으로는 코드가 검증 가능한 세계 상태를 제공하고, 비디오 모델이 그 세계의 시각적 표현을 담당하는 분업이 가능할 수 있다.

그러나 입력 초안을 더 자세하게 만드는 것만으로 제어성이 보장되지는 않는다. 모델이 운동과 형상에 관한 제약, 참고용 외관 정보, 텍스트가 바꾸려는 속성을 분리해야 한다. WorldDraft는 물리적으로 그럴듯한 영상뿐 아니라 시간적 일관성, 크로스모달 분리, 소스 누출까지 함께 측정해야 한다는 점을 분명히 한다.

출처: Hugging Face Daily Papers