WorldSculpt: 단일 객체 3D 생성 사전지식으로 조합 가능한 세계 구축

들어가며

실제 영상에서 편집 가능하고 상호작용할 수 있는 3D 세계를 만들려면 카메라에 보이는 표면만 복원해서는 부족합니다. 복잡한 장면에서는 객체들이 서로를 가리고, 각 객체는 일부 시점에서만 관측됩니다. 보이지 않는 영역의 형상을 보완해야 하며, 게임이나 시뮬레이션에 활용하려면 장면 전체를 하나의 표면으로 묶기보다 객체 단위로 다룰 수 있어야 합니다.

논문 ‘WorldSculpt: Generating Compositional Worlds from Grounded Videos’는 이 문제를 생성 모델과 조합형 표현의 결합으로 풀어냅니다. 목표는 장면을 하나의 거대한 메시로 재구성하는 것이 아니라, 공통 세계 좌표계에 배치된 개별 객체 메시들의 집합을 생성하는 것입니다.

핵심 접근법

기하 기반 재구성 방식은 관측된 영상과의 일치성을 유지하는 데 강점이 있지만, 가림이 심한 장면에서는 보이지 않는 영역의 기하가 불완전해지기 쉽습니다. 생성 사전지식을 활용한 기존 조합형 방법 역시 상대적으로 단순한 장면에 집중해 왔고, 수백 개 객체가 있는 환경으로 확장하는 데 한계가 있었습니다.

WorldSculpt는 강력한 단일 객체 3D 생성 사전지식을 다중 시점 관측에 맞게 조정합니다. 구현에서는 Pixal3D를 기반으로 자세 정보가 있는 여러 시점을 입력받는 조건화 경로를 추가했습니다. 이 경로는 영상에 나타난 객체의 외관, 위치, 관측된 구조를 생성 과정에 반영하고, 생성 사전지식은 부분적으로만 보이는 증거로부터 보다 완전한 메시를 추론하도록 돕습니다.

이 연구에서 특히 눈에 띄는 점은 학습과 적용 환경의 차이입니다. 모델은 정규화된 단일 객체 데이터만으로 미세 조정됐으며, 복잡한 전체 장면을 직접 학습하지 않았습니다. 그럼에도 논문은 장면 수준 학습 없이 심한 가림이 있는 대규모 장면에 일반화할 수 있다고 보고합니다. 관측에 객체를 연결한 뒤 공통 좌표계에서 결과를 결합하는 설계가 확장성의 핵심입니다.

벤치마크와 평가

연구진은 밀집된 환경을 위한 사진 수준의 벤치마크 UE-MeshyScene도 소개했습니다. 이 데이터에는 수백 개 객체로 구성된 장면, 객체별 주석, 정답 메시가 포함됩니다. 따라서 단순한 이미지 유사도뿐 아니라 객체 단위의 3D 재구성 품질도 평가할 수 있습니다.

평가는 단일 객체, 통제된 다중 객체, UE-MeshyScene 설정에서 진행됐습니다. 논문에 따르면 제안 방식은 기존 방법보다 일관되게 높은 성능을 보였으며, 장면 복잡도와 가림이 증가할수록 개선 폭도 커졌습니다. 또한 Marble과 HY-World 2.0처럼 3D Gaussian Splatting으로 생성된 세계를 조합형 메시 장면으로 변환하는 사례도 제시했습니다.

의미와 남은 과제

WorldSculpt의 중요한 시사점은 관측과 생성 사전지식의 역할을 분리했다는 점입니다. 영상은 특정 세계에서의 외관과 배치를 제약하고, 단일 객체 사전지식은 가려진 형상의 보완을 지원하며, 공통 세계 좌표계는 개별 예측을 일관된 장면으로 통합합니다. 이런 표현은 게임 에셋 제작, AR/VR, 시뮬레이션, 로보틱스처럼 편집 가능한 3D 자산이 필요한 분야에 활용될 수 있습니다.

다만 제공된 자료만으로는 모든 실제 환경에서의 일반화 범위를 판단하기 어렵습니다. 서로 비슷한 객체를 구분하는 문제, 작은 구조와 재질의 복원, 영상 증거와 생성 형상이 충돌할 때의 처리 방식은 추가 검증이 필요합니다. 따라서 WorldSculpt는 범용 세계 재구성을 완성한 해법이라기보다, 단일 객체 생성 사전지식을 조합형 세계로 확장할 수 있음을 보여준 연구적 출발점으로 보는 편이 타당합니다.

Hugging Face Daily Papers