아티클 목록으로

Direct3D-V3, 잠재 공간 없이 복셀에서 3D 형상 생성

약 3분 소요

많은 3D 생성 시스템은 변분 오토인코더(VAE)로 형상을 잠재 표현으로 압축한 뒤, 생성 모델이 그 표현을 학습하는 방식으로 구성됩니다. Direct3D-V3는 이 과정을 생략하는 접근을 제안합니다. 확산 트랜스포머(DiT)가 학습과 샘플링 모두에서 부호 있는 거리장(SDF) 복셀 그리드를 직접 모델링합니다.

핵심 접근법

SDF는 각 복셀에 물체 표면까지의 거리를 담아 형상을 표현합니다. 이를 직접 생성하면 모델의 학습 목표가 잠재 코드가 아니라 복셀 공간의 기하 자체에 놓입니다. VAE의 재구성 단계를 거치지 않아 해당 단계에서 생길 수 있는 정보 손실을 피할 가능성이 있습니다. 대신 압축된 표현에 의존하지 않고, 이웃한 값들이 일관된 표면을 이루도록 모델이 학습해야 합니다.

Direct3D-V3는 이 문제에 대응하기 위해 몇 가지 요소를 결합합니다.

  • 이웃 복셀의 암묵적 다양체 정규화: 인접 복셀 사이에 제약을 두어 표면이 닫히지 않는 문제를 억제하도록 설계했습니다.
  • 메시 법선 감독: 예측한 SDF를 Marching Cubes로 메시로 변환한 뒤, 렌더링된 법선 손실을 사용해 표면 방향에 관한 학습 신호를 제공합니다.
  • 카메라 파라미터 예측: 조건으로 주어진 이미지의 카메라 설정도 보조 과제로 예측해, 이미지 관측과 3D 형상 간의 대응을 학습하도록 유도합니다.

저자들은 잠재 표현을 제거한 설계가 국소 디테일이 더 풍부한 메시를 만든다고 보고합니다. 또한 확산 생성과 법선 기반 세분화를 번갈아 수행하는 생성적 재구성 확장도 제시합니다. 관측된 시점에 결과를 맞추면서, 보이지 않는 영역은 생성 모델의 사전 지식으로 완성하는 것이 목표입니다.

다만 제공된 자료에는 벤치마크 결과, 계산 비용, 복셀 해상도, 잠재 공간 기반 방법과의 정량 비교가 포함되어 있지 않습니다. 따라서 디테일 향상은 논문이 보고한 주장으로 소개하는 것이 적절하며, 기존 방법보다 얼마나 우수한지 또는 실제로 더 효율적인지까지 단정할 수는 없습니다.

의미와 남은 검증 과제

이 연구는 3D 생성에서 표현 방식을 어떻게 선택할지 묻습니다. 잠재 표현은 모델링을 단순화할 수 있지만, VAE의 인코딩과 재구성 과정이 최종 형상의 충실도를 제한할 가능성이 있습니다. 복셀을 직접 생성하면 변환 단계를 없앨 수 있지만, 표면의 연속성과 기하학적 일관성을 생성 모델이 직접 책임져야 합니다. 다양체 정규화, 법선 손실, 카메라 예측은 이 부담을 완화하려는 설계입니다.

여러 물체 유형과 해상도에서도 안정적으로 작동한다면 이미지 기반 3D 생성이나 단일 시점 재구성의 대안이 될 수 있습니다. 현재의 핵심 가치는 잠재 표현을 더 정교하게 만드는 대신, 기하 자체를 직접 학습할 수 있는지 탐색한다는 데 있습니다. 실용성을 판단하려면 품질뿐 아니라 확장성, 계산량, 비교 실험을 함께 확인해야 합니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
PMD, 다양성을 고려한 확산 모델의 소수 단계 증류
확산 모델
cctest.ai
확산 모델

PMD, 다양성을 고려한 확산 모델의 소수 단계 증류

Posterior Matching Distillation(PMD)은 학생 모델이 교사 모델의 우세한 생성 모드에만 치우치지 않도록 조건부 분포 학습을 시도합니다. 논문은 SDXL과 FLUX.2의 4단계 방법 중 최고 FID를 보고하지만, FLUX.2 수치에 불일치가 있다는 지적도 있습니다.

더 보기
CCTest · Blog
확산 언어 모델의 추론 탐색을 넓히는 빈도 인식 리마스킹
확산 모델
cctest.ai
확산 모델

확산 언어 모델의 추론 탐색을 넓히는 빈도 인식 리마스킹

새 연구는 확산 언어 모델이 토큰의 순간적인 확신도만 보지 않고, 디노이징 과정에서 예측이 얼마나 자주 바뀌었는지를 활용하도록 제안한다. 빠른 샘플러로 쉬운 문제를 처리한 뒤, 남은 어려운 문제에 추가 계산과 탐색적인 리마스킹을 집중한다.

더 보기