Hunyuan3D-Buffalo 1.0, 3D 이해·생성·편집을 하나로 묶다

서론

3D 생성은 이미지 생성보다 까다롭다. 형태의 일관성, 구조 보존, 부분 수정의 자연스러움을 모두 만족해야 하기 때문이다. Hunyuan3D-Buffalo 1.0은 이 문제를 따로따로 풀지 않고, 이해와 생성, 편집을 하나의 통합 프레임워크에서 함께 학습하는 접근을 택했다.

핵심 포인트

• 하나의 아키텍처로 네 가지 기능을 지원: 3D 이해, 텍스트-3D 생성, 지시문 기반 3D 편집, 텍스트 기반 부위 생성.
• 대규모 데이터가 핵심: 87M 규모의 3D 멀티모달 코퍼스를 구축했고, 그 안에는 25M 이해 샘플, 50M 텍스트-3D 페어, 12M 편집 페어가 포함된다.
• 편집 데이터는 구조 보존에 초점: Nano3D-v2로 생성한 편집 페어를 활용해 원본 객체의 구조와 수정되지 않은 영역을 최대한 유지하도록 설계했다.
• 역할 분담형 설계: Hunyuan3D-VLM은 의미, 구조, 공간 이해를 담당하고, Hunyuan3D DiT는 고품질 3D 합성을 맡는다.
• 서로 돕는 학습 효과: 생성과 이해가 편집 성능을 높인다는 분석 결과가 제시되며, 통합 학습의 효용이 확인됐다.

의미와 영향

이 논문의 포인트는 단순히 더 강한 3D 모델 하나를 만든 데 그치지 않는다. 이해가 좋아지면 무엇을 유지해야 하는지 더 잘 판단할 수 있고, 생성이 좋아지면 편집 후의 구조도 더 자연스럽게 채울 수 있다. 즉, 각 능력이 서로를 보완하는 방식으로 설계됐다는 점이 중요하다.

이런 방향이 더 발전하면, 앞으로는 자연어만으로 3D 모델링, 수정, 부위 보완을 수행하는 도구가 더 실용적으로 다가올 수 있다. 게임 자산 제작, 제품 디자인, 3D 콘텐츠 제작 워크플로에 직접적인 영향을 줄 가능성이 있다.

출처: Hugging Face Daily Papers