Luce, 한 장의 이미지로 재조명 가능한 3D 에셋 생성

들어가며

한 장의 이미지에서 3D를 생성하는 기술은 물체의 대략적인 형태를 복원하는 수준을 넘어, 실제 제작 파이프라인에서 사용할 수 있는 에셋을 만들어야 한다는 요구를 받고 있습니다. 게임과 영상, 디자인 작업에서는 다른 조명 아래에서도 자연스럽게 보이는 재질과 표면 법선, 표준 렌더링 시스템에 연결할 수 있는 출력 형식이 중요합니다.

논문 「Luce: Relightable Gaussians for 3D Asset Generation」은 이 문제를 재조명 가능한 3D 표현의 관점에서 해결하려 합니다. 목표는 입력 이미지와 비슷한 한 장의 렌더링을 만드는 데 그치지 않고, 생성 이후 조명을 바꿀 수 있는 기하·재질 기반 에셋을 확보하는 것입니다.

핵심 내용

• 멀티모달 Gaussian 표현. Luce는 복셀화된 멀티모달 Gaussian 클라우드 안에 3D 기하와 PBR 정보를 함께 담습니다. 알베도, 메탈릭-러프니스, 표면 노멀 등 각 모달리티에는 전용 Gaussian 프리미티브가 사용됩니다.
• 재질 인식 잠재 공간. 변분 오토인코더는 기하와 재질을 포함하는 결합 표현을 하나의 잠재 공간으로 압축합니다. 재질을 생성 후 별도로 덧붙이는 대신, 3D 구조와 외관의 관계를 생성 표현 안에서 학습하려는 접근입니다.
• 단일 이미지 조건 생성. rectified-flow Transformer는 한 장의 이미지를 입력으로 3D 잠재 표현을 생성합니다. 사전 학습된 이미지 인코더의 다층 특징을 조건으로 사용해, 물체의 의미적 맥락과 세부적인 공간 정보를 함께 보존하도록 설계됐습니다.
• Gaussian과 메시 출력. 잠재 표현을 디코딩하면 재조명 가능한 PBR Gaussian을 얻습니다. 메시 중심의 작업 환경을 위해 텍스처가 포함된 메시와 탄젠트 공간 노멀 맵을 선택적으로 생성할 수도 있습니다.
• 보고된 평가 성능. Toys4K에서 Luce는 최강 기준선보다 FID를 28% 개선했다고 논문은 보고합니다. 연구진이 새로 제시한 AI 생성 이미지 벤치마크에서는 CLIP 이미지 정렬 점수 0.8519를 얻어 최고 기준선의 0.8299를 앞섰습니다. 텍스트, 로고, 각인과 같은 작은 표면 세부 사항을 유지하는 점도 강조됩니다.

의미와 영향

Luce의 핵심은 Gaussian의 효율적인 외관 표현과 PBR이 제공하는 명시적인 재질 속성을 하나의 생성 대상에 결합한 데 있습니다. 단순히 특정 시점에서 그럴듯한 결과를 만드는 것보다, 조명 변화와 후속 렌더링을 고려한 자산 표현에 가까워질 수 있다는 의미입니다.

구성 요소의 역할도 분명합니다. VAE는 기하와 재질을 연결하는 공동 표현을 만들고, 이미지 조건 flow 모델은 시각적 입력으로부터 해당 표현을 복원합니다. 이미지 인코더의 다층 특징은 물체 전체의 정체성과 국소적인 표면 정보를 동시에 다루기 위한 장치이며, 글자나 문양처럼 작은 디테일 보존과도 관련이 있습니다.

다만 현재 제공된 자료만으로는 추론 비용, 물체 종류별 실패 사례, 실제 제작 환경에서 Gaussian 출력과 메시 출력의 차이를 확인하기 어렵습니다. 따라서 실용성을 판단하려면 논문 전문과 구현, 더 폭넓은 평가가 필요합니다. 그럼에도 Luce는 단일 이미지 3D 생성의 초점을 단순한 형상 복원에서 재조명 가능한 재질 포함 에셋 생성으로 확장한 사례로 볼 수 있습니다.

출처：Hugging Face Daily Papers