UniWorld-View, WorldScore 1위: 이미지 한 장으로 제어 가능한 새 시점 영상을 만든다

도입

세계 모델 경쟁에서 중국 오픈소스 프로젝트 하나가 주목받고 있다. 투잔 인텔리전스가 베이징대, 펑청연구소와 함께 개발한 UniWorld-View가 WorldScore 리더보드 정상에 올랐다. 기능은 명확하다. 이미지 한 장이나 일상적으로 촬영한 단안 영상을 입력하고 카메라 궤적을 지정하면, 줌인·줌아웃·팬·이동, 나아가 장면을 한 바퀴 도는 새 시점 영상을 생성한다.

더 흥미로운 점은 단일 이미지 기반 3D 생성과 영상 기반 4D 생성을 하나의 모델과 코드베이스로 처리하려 한다는 것이다. 원문에 따르면 이 모델은 중국산 Ascend 연산 환경에 맞게 적응됐고, 코드와 가중치도 공개됐다.

핵심 포인트

• 큰 베이스라인의 새 시점 합성 문제: NeRF와 3DGS는 충분한 다중 시점 입력이 있을 때 강하지만, 단안 영상처럼 시점 커버리지가 부족하면 구멍과 아티팩트가 생기기 쉽다. 순수 생성 방식은 보이지 않는 부분을 그릴 수 있지만, 명시적 3D 제약이 약하면 큰 카메라 이동에서 구조가 흔들린다.
• 가림 인식 포인트클라우드 렌더링: UniWorld-View는 기하 정보를 먼저 만들고 이를 생성 모델의 조건으로 쓰는 접근을 따른다. 다만 포인트클라우드 렌더링에서 자주 발생하는 전경·배경 찢김과 뒷면 누출 문제를 직접 겨냥한다.
• 이중 재투영으로 가림 영역 식별: 원본 픽셀을 목표 시점으로 투영한 뒤 다시 원래 시점으로 되돌린다. 안정적으로 돌아오지 못하는 픽셀은 가려진 영역으로 보고 마스크 처리한다. 잘못된 텍스처를 남겨 모델을 오도하기보다, 생성 모델이 채워야 할 빈 공간으로 넘기는 방식이다.
• 법선 필터링으로 뒷면 누출 감소: 각 점의 법선과 시선 방향을 비교해 목표 카메라를 등진 점을 제거한다. 이를 통해 물체 뒤쪽으로 돌아갔을 때 앞면 텍스처가 비치는 현상을 줄인다.
• 이중 스트림 조건 주입: 기하 스트림은 렌더링된 포인트클라우드와 마스크로 목표 시점 구조를 고정한다. 외관 스트림은 Ref-DiT 모듈을 통해 원본 영상에서 색상, 질감, 세부 정보를 가져와 일관성을 유지한다.
• 4D 재구성으로 확장: 먼저 첫 프레임에서 시간을 고정해 정적인 원형 시점을 만들고 외관 기준점으로 삼는다. 이후 고정 카메라 위치에서 동기화된 다중 시점 영상을 생성하고, 이를 4DGS 최적화에 입력해 자유 시점 탐색이 가능한 동적 장면을 만든다.

의미와 영향

UniWorld-View의 의미는 단순히 이미지를 영상으로 바꾸는 데 있지 않다. 신뢰할 수 없는 영역은 마스크로 남기고, 뒷면 점은 제거하며, 확산 모델에는 보완해야 할 부분을 더 명확하게 전달한다. 기하 제약과 생성 능력을 결합해 단안 촬영물에서 3D·4D 콘텐츠를 만드는 진입 장벽을 낮추려는 시도다.

응용 가능성은 영화 사전 시각화, 게임 자산 제작, 상품 전시, 공간 투어, 디자인 워크플로 등으로 이어질 수 있다. 코드와 가중치 공개는 연구자들이 결과를 재현하고 다른 방법과 비교하는 데도 도움이 된다.

물론 리더보드 1위가 모든 실제 환경의 해결을 뜻하지는 않는다. 큰 시점 변화, 복잡한 동적 가림, 작은 구조의 일관성은 계속 검증해야 할 과제다. 그럼에도 UniWorld-View는 희소한 시각 입력에서 제어 가능한 4D 장면 생성으로 가는 중요한 진전으로 볼 수 있다.

출처: 量子位