렌더링된 화면에서 대상 마스크가 정확해 보이면, 3D 장면에서도 대상을 완전히 분리했다고 할 수 있을까요? 3D Gaussian Splatting(3DGS)에서는 꼭 그렇지 않습니다. 장면은 여러 가우시안 기초 요소로 표현되지만, 기존 분할 방법은 대체로 렌더링된 뷰를 중심으로 학습하고 평가합니다. 따라서 눈에 보이는 뷰의 마스크가 맞더라도 대상에 속한 가우시안 일부가 선택되지 않은 채 남을 수 있습니다.
이 불일치의 한 원인은 렌더링 감독 신호가 기초 요소에 전달되는 방식입니다. 시선 방향을 따라 여러 가우시안이 같은 픽셀 생성에 관여하지만, 알파 블렌딩에서는 최종 픽셀에 대한 기여도가 서로 다릅니다. 렌더링 특징에 기반한 감독은 기여도가 큰 요소에 학습 신호를 더 집중시키는 경향이 있습니다. 가려진 요소나 기여도가 낮은 요소는 상대적으로 약한 신호만 받을 수 있습니다. 그 결과 보이는 영역의 마스크는 재현하면서도 3D 표현 속 대상 전체를 충분히 학습하지 못할 수 있습니다. 렌더링 마스크의 정확성만으로는 체적 분할의 완전성을 판단하기 어렵습니다.
논문이 제안하는 VODA는 기존 방식에 추가할 수 있는 체적 감독 목적 함수입니다. 픽셀 주변의 국소 깊이 구조를 이용해 픽셀 생성에 관여한 가우시안들을 깊이 클러스터로 묶습니다. 그런 다음 렌더링 기여도에 따라 그래디언트가 전달되도록 두는 데 그치지 않고, 선택한 깊이 클러스터 안의 가우시안에 직접 감독 신호를 줍니다. 기존 렌더링 감독에서 충분히 학습되지 않을 수 있는 요소까지 명시적으로 다루려는 접근입니다. 논문의 분석에 따르면 VODA는 기여도가 낮은 가우시안을 복구합니다. 단순한 그래디언트 재가중이나 공간적 전파는 이에 필적하는 개선을 내지 못했습니다.
분할의 체적 완전성을 평가하기 위해 연구진은 합성 벤치마크 Removal-3D와 Removal Depth Error(RDE)도 도입했습니다. 예측된 대상을 제거했을 때의 깊이 변화와 정답 대상 제거 후의 깊이 변화를 비교하는 방식입니다. 특정 뷰에서 마스크가 맞는지만 보는 대신, 선택된 대상을 제거한 결과가 완전한 대상을 제거한 결과와 얼마나 부합하는지를 살펴봅니다. 대상 일부를 놓치면 제거 후 깊이 변화에도 차이가 생길 수 있습니다.
제공된 논문 요약에 따르면 VODA는 Removal-3D에서 네 가지 렌더링 기반 기준 방법의 체적 분할 성능을 일관되게 개선했습니다. LERF와 ScanNet에서는 성능을 유지하거나 향상했습니다. 다만 제공된 요약에는 구체적인 수치가 없어 개선 폭까지 판단할 수는 없습니다.
이 연구가 강조하는 핵심은 ‘렌더링 결과가 맞는 것’과 ‘3D 표현에서 대상을 완전히 선택하는 것’이 서로 다른 목표라는 점입니다. 가우시안으로 표현된 객체를 선택하거나 제거하고 조작하는 작업에서는, 화면에서 드러나지 않는 누락이 3D 조작 과정에서 중요해질 수 있습니다. VODA는 감독 방식의 차이를 줄이려 하고, Removal-3D와 RDE는 제거 후의 깊이 변화를 통해 완전성을 살펴볼 방법을 제시합니다. 다만 현재 제공된 정보만으로는 모든 장면 유형과 데이터 조건에서의 성능 범위를 확인할 수 없습니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…