EditWorld, 비디오 월드 모델을 탐색에서 정밀 편집으로 확장

들어가며

비디오 월드 모델은 사용자가 이동하고 상호작용할 수 있는 환경을 생성하는 기술로 발전해 왔습니다. 그러나 세계를 탐색할 수 있다는 것과, 그 세계의 특정 요소를 사용자의 의도에 맞게 정확히 바꿀 수 있다는 것은 다른 문제입니다. 생성이 시작된 뒤 물체의 외형을 수정하거나 참조 이미지를 반영하고, 이전 상태를 유지한 채 새로운 변경을 적용하려면 보다 세밀한 제어가 필요합니다.

EditWorld는 이러한 한계를 겨냥한 비디오 월드 모델입니다. 세계 모델링의 목표를 단순한 미래 장면 예측이나 탐색에서, 생성 중인 세계를 지속적으로 수정하는 작업으로 확장하려는 접근입니다.

핵심 내용

• 생성 중 편집 지시를 입력. EditWorld는 자기회귀 생성이 진행되는 동안 편집 지시와 참조 이미지를 받을 수 있습니다. 사용자가 현재 결과를 확인한 뒤 추가 요구를 전달하고, 전체 장면을 처음부터 다시 생성하지 않는 반복형 작업 흐름을 염두에 둔 구조입니다.
• 게이트형 인과 어텐션 적용. 편집 지시와 참조 이미지는 모든 시점에서 동일한 방식으로 사용되지 않습니다. Gated Causal Attention은 시간에 따라 달라지는 편집 조건과 참조 이미지를 조절하면서, 비디오의 인과적 생성 순서를 유지하도록 설계되었습니다.
• 희소 컨텍스트로 긴 생성 지원. 장시간 생성에서는 모든 과거 정보를 보존할수록 컨텍스트와 추론 비용이 커질 수 있습니다. Sparse Context는 과거 이력을 제한된 범위로 관리해, 자원 사용을 통제하면서 세계 상태와 이전 편집 결과에 필요한 정보를 유지하려 합니다.
• 편집 중심의 학습·데이터 파이프라인. 연구진은 자기회귀 학습과 양방향 학습을 결합하고, 어닐링된 자기 리샘플링을 사용합니다. 아울러 세계 편집에 대한 감독 신호를 마련하기 위해 전용 데이터 합성 및 주석 파이프라인도 구축했습니다.
• 편집 능력을 별도로 평가. WBench-Editing은 스트리밍 방식의 세계 편집 능력을 체계적으로 평가하기 위한 벤치마크입니다. 논문 초록에 따르면 EditWorld는 종합 점수 73.8, 편집 점수 80.0을 기록했으며 편집 관련 지표에서 기존 방법보다 높은 성능을 보였습니다.

의미와 과제

EditWorld의 핵심 의미는 월드 모델을 한 번 생성한 뒤 수동으로 소비하는 도구가 아니라, 사용자의 피드백을 받으며 계속 바뀌는 환경으로 바라본다는 데 있습니다. 인터랙티브 스토리, 게임 프로토타이핑, 가상 환경, 시각 콘텐츠 제작에서는 처음부터 완성된 결과를 요구하기보다 결과를 확인하고 수정하는 과정이 중요합니다. 생성 중 편집은 이러한 창작 방식과 월드 모델을 연결하는 기반이 될 수 있습니다.

다만 제공된 자료만으로는 복잡한 장면에서의 장기 일관성, 서로 충돌하는 지시의 처리, 다양한 참조 이미지에 대한 일반화, 실제 추론 비용을 판단하기 어렵습니다. 앞으로는 벤치마크 성능이 실제 장시간 상호작용과 제품 환경에서도 유지되는지 확인해야 합니다. 그럼에도 EditWorld는 월드 모델의 기준이 ‘탐색 가능성’에서 ‘정밀한 수정 가능성’으로 이동하고 있음을 보여주는 사례입니다.

Hugging Face Daily Papers