InfiniSplat: 단일 이미지 3DGS를 표면 정렬 표현으로 확장하다

도입

한 장의 사진만으로 다른 시점에서 볼 수 있는 3D 장면을 만드는 것은 신시점 합성 분야의 핵심 과제입니다. 3D Gaussian Splatting(3DGS)은 효율적인 렌더링과 높은 시각 품질 덕분에 빠르게 주목받고 있습니다. 하지만 많은 3DGS 방식은 여러 장의 입력 이미지나 장면별 최적화를 필요로 하며, 이는 촬영 비용과 계산 비용을 높입니다.

InfiniSplat은 이보다 더 제약이 큰 설정을 다룹니다. 단 하나의 입력 이미지에서 피드포워드 방식으로 렌더링 가능한 3D 가우시안 표현을 생성하는 것이 목표입니다. 이 연구는 ACM Transactions on Graphics, SIGGRAPH Asia 2026 Journal Track에 채택된 것으로 소개되었습니다.

핵심 포인트

• 문제: 픽셀 정렬 가우시안의 한계
  기존 단일 이미지 3DGS 방법 다수는 고정된 이미지 격자 위치에서 가우시안 프리미티브를 예측합니다. 이 방식은 가까운 시점 변화에서는 그럴듯한 결과를 낼 수 있지만, 실제 장면 표면과의 결합이 약해 큰 시점 이동에서는 구조가 흐트러지거나 프리미티브가 흩어질 수 있습니다.

• 표면 정렬 표현으로의 전환
  InfiniSplat은 가우시안의 기준 위치를 단순히 픽셀 중심에 두지 않습니다. 대신 깊이로부터 유도되는 국소 표면 구조를 활용해 2D 지지점을 기하적으로 샘플링합니다. 이를 통해 가우시안 배치가 장면의 표면을 더 잘 따르도록 설계합니다.

• 암시적 가우시안 디코딩
  선택된 지지점에서 이미지 특징을 질의한 뒤, query-conditioned implicit decoder가 가우시안 속성을 예측합니다. 이 구조는 고정 픽셀 중심에 묶인 예측을 분리해, 격자 이산화로 생기는 산재한 프리미티브 문제를 줄이는 데 초점을 둡니다.

• 대규모 시점 변화 신시점 합성
  자료에 따르면 InfiniSplat은 여러 교차 데이터셋 NVS 평가에서 단일 이미지 피드포워드 기준 모델 대비 최신 수준의 성능을 달성했습니다. 또한 Hypersim 실내 합성 데이터로 학습한 뒤 복잡한 오픈월드 장면에 제로샷으로 일반화하는 결과도 제시했습니다.

의미와 영향

InfiniSplat의 핵심 의미는 표현 방식의 변화에 있습니다. 단일 이미지 3DGS에서 입력 정보가 부족한 것만이 문제가 아니라, 예측된 가우시안을 어디에 배치하느냐가 3D 구조의 일관성을 크게 좌우한다는 점을 보여줍니다. 픽셀 격자에 고정된 프리미티브는 실제 표면 구조를 따라가기 어렵기 때문입니다.

이 접근은 사진 기반 3D 생성, AR/VR 콘텐츠 제작, 공간 장면 시각화, 오픈월드 장면 이해 등에 잠재적인 영향을 줄 수 있습니다. 단일 이미지 입력은 데이터 획득 부담을 낮추고, 피드포워드 추론은 장면별 최적화 비용을 피할 수 있게 합니다. 다만 제공된 자료에는 구체적인 수치 지표가 포함되어 있지 않으므로, 실제 성능 평가는 논문, 코드, 데모를 함께 확인할 필요가 있습니다.

출처: Hugging Face Daily Papers