DiffGI: 얇은 쉘 3D 생성을 위한 미분 가능 지오메트리 이미지

도입

최근 3D 생성 모델은 암시적 체적 표현에 많이 의존해 왔습니다. 이러한 방식은 강력하지만, 형태를 물이 새지 않는 닫힌 물체처럼 다루는 경향이 있습니다. 그래서 의류, 천, 얇은 판, 열린 경계를 가진 표면처럼 얇은 쉘 구조나 비다양체 기하를 표현할 때 한계가 드러납니다. DiffGI는 이 문제를 표면 중심 표현으로 접근합니다. 3D 표면을 2D 지오메트리 이미지로 매핑하되, 재구성과 최적화 과정 전체를 미분 가능하게 만든 것이 핵심입니다.

핵심 포인트

• 체적이 아니라 표면을 우선하는 표현: DiffGI는 특히 의류와 같은 얇은 쉘 3D 자산을 겨냥합니다. 이런 대상에서는 내부 부피보다 경계, 표면의 형태, 열린 구조를 얼마나 정확히 보존하느냐가 중요합니다. 지오메트리 이미지는 이러한 표면 정보를 2D 격자에서 다루는 대안이 됩니다.

• 이진 점유 맵 대신 연속 TSDF 사용: 기존 지오메트리 이미지 방식은 종종 이진 occupancy map에 의존했습니다. 이 경우 경계가 해상도에 묶이기 때문에 다운샘플링 시 계단형 아티팩트가 생기고 세부 정보가 사라질 수 있습니다. DiffGI는 2D Truncated Signed Distance Function을 사용해 고정된 격자 안에서도 경계 위치를 서브픽셀 정밀도로 기록합니다.

• 미분 가능한 Marching Squares: 표면 재구성은 흔히 학습 이후의 후처리 단계로 분리되어 있습니다. DiffGI는 해석적 선형 보간에 기반한 미분 가능한 Marching Squares 모듈을 도입해, 재구성된 3D 표면에서 계산된 손실이 2D 표현과 잠재공간으로 역전파될 수 있게 합니다.

• 작은 잠재공간에서의 생성: 논문은 기하 인식 법선 렌더링 손실을 더한 DiffGI-VAE를 학습해 복잡한 3D 표면을 32×32 잠재공간으로 압축합니다. 이후 그 공간 위에 Transformer 기반 잠재 확산 모델을 구성하고, flow-matching 목표를 활용해 조건부 3D 생성을 수행합니다.

의미와 영향

DiffGI의 의의는 새로운 인코딩을 제안하는 데서 그치지 않습니다. 3D 표면 표현, 표면 추출, 학습 손실을 하나의 미분 가능한 파이프라인으로 묶었다는 점이 중요합니다. 의류나 천과 같은 얇은 구조에서는 물체가 닫혀 있는지보다 경계가 매끄럽고 표면이 충실하게 재현되는지가 더 큰 품질 기준이 됩니다. 연속 TSDF는 해상도 때문에 생기는 계단 현상을 줄이고, 미분 가능한 재구성은 최종 3D 표면 품질을 학습 과정에 직접 반영합니다.

제공된 자료에 따르면 DiffGI는 기존 지오메트리 이미지 및 복셀 기반 접근보다 재구성 충실도와 경계 정밀도에서 우수하며, 계산 자원도 더 적게 요구한다고 보고합니다. 다만 실제 활용성은 공개 예정인 인터랙티브 데모, 더 다양한 데이터셋에서의 일반화, 산업용 의류 제작 워크플로와의 결합 가능성 등을 통해 추가로 확인될 필요가 있습니다.

출처: Hugging Face Daily Papers