EchoWM: 연속 이동에 반응하는 옴니모달 월드 모델

들어가며

기존 영상 생성 모델은 텍스트나 이미지에서 그럴듯한 짧은 영상을 만드는 데 강점을 보입니다. 하지만 사용자가 장면 안으로 들어가 계속 이동할 수 있는 세계를 만들려면 더 복잡한 문제가 생깁니다. 시점이 바뀔 때 영상은 단순히 새로운 프레임을 출력하는 데 그치지 않고 공간적 연속성을 유지해야 합니다. 환경음과 음성도 장면의 변화에 맞춰 함께 진화해야 합니다. EchoWM은 이 문제를 겨냥해 영상과 소리를 동시에 생성하는 ‘진입 가능한’ 옴니모달 월드 모델을 제안합니다.

핵심 내용

• 일회성 생성에서 지속적 상호작용으로. EchoWM은 하나의 프롬프트만 처리하지 않고 연속적인 이동 입력에 반응합니다. 사용자의 의도는 위치와 회전 변화를 포함하는 상대적 6자유도 궤적으로 표현됩니다.
• 서로 다른 입력을 하나의 표현으로 통합. 이산 명령과 연속적인 카메라 포즈를 같은 미터 단위 궤적 공간으로 매핑합니다. 데이터셋 수준의 보정을 적용해 이질적인 데이터에서도 움직임의 크기가 일관되도록 합니다.
• 1인칭과 3인칭을 모두 지원. 1인칭 장면에서는 카메라 의도가 관찰자의 움직임을 직접 지정합니다. 3인칭 장면에서는 특정 시점 전용 컨트롤러에 의존하지 않고, 데이터에서 카메라와 캐릭터 사이의 동역학을 학습합니다.
• 영상과 오디오의 공동 생성. 환경음, 음악, 음성을 영상과 함께 생성하며, 긴 생성 과정에서도 시각적 변화와 오디오 사이의 시간적 동기를 유지하는 것을 목표로 합니다.
• 장기 생성을 위한 단계적 학습. 연구진은 상호 보완적인 데이터 엔진을 구축하고 점진적 학습을 진행한 뒤, 자기회귀 방식의 후속 학습으로 장기 롤아웃을 개선합니다.

의미와 한계

EchoWM은 월드 모델의 역할을 영상 예측기에서 조작 가능한 생성 환경으로 확장하려는 흐름을 보여줍니다. 연속 궤적은 가상 공간을 실제로 이동하는 사용 방식에 더 가깝고, 공통 6자유도 표현은 서로 다른 시점과 데이터 소스를 연결하는 인터페이스가 될 수 있습니다. 옴니모달 생성에서는 품질의 기준도 영상에만 머물지 않습니다. 카메라 움직임, 환경음, 음악, 음성이 하나의 시간축에서 일관되게 맞아야 하기 때문입니다.

제공된 초록에 따르면 EchoWM은 공개 월드 모델 벤치마크에서 강한 궤적 추종 능력과 시각 품질을 보였으며, 다양한 대상에 대해 1인칭과 3인칭 상호작용을 지원합니다. 또한 장기 생성에서 환경음과 음성의 동기화를 유지한다고 설명합니다. 다만 현재 소재에는 구체적인 벤치마크 점수, 모델 규모, 추론 비용, 가중치 공개 여부가 제시되지 않았습니다. 따라서 이 내용은 완전한 재현 가이드라기보다 제안된 시스템과 방법론의 개요로 이해하는 편이 적절합니다.

이 방향이 발전하면 생성형 게임, 버추얼 프로덕션, 몰입형 스토리텔링, 체화형 에이전트 시뮬레이션은 단일 콘텐츠를 만드는 수준에서 지속적으로 탐색 가능한 세계를 생성하는 단계로 나아갈 수 있습니다.

출처: Hugging Face Daily Papers