Hunyuan3D-Buffalo 1.0が3D理解・生成・編集を統合

導入

3D生成は、画像生成よりも要求が厳しい分野です。形状の整合性、局所編集の一貫性、そして全体構造の保持を同時に満たす必要があるからです。Hunyuan3D-Buffalo 1.0 は、この問題を「別々のモデルで解く」のではなく、「理解・生成・編集を統合して学習する」ことで解決しようとしています。

主なポイント

• 1つのアーキテクチャで4つのタスクを扱う：3D理解、テキスト条件の3D生成、指示ベースの3D編集、テキストに基づく部品生成。
• 大規模データが中核：87M規模の3Dマルチモーダルコーパスを構築し、その内訳は理解サンプル25M、text-to-3Dペア50M、編集ペア12M。
• 編集データは幾何一貫性を重視：Nano3D-v2で生成した編集ペアを使い、元の形状や未編集部分を保つ設計になっています。
• 役割分担のある設計：Hunyuan3D-VLMが意味・構造・空間の理解を担当し、Hunyuan3D DiTが高精細な3D合成を担当します。
• 相互補完が確認された：生成と理解の両方が編集性能を押し上げることが示され、統合学習の効果が裏付けられました。

意義

この研究の価値は、単に3Dモデルを強化した点だけではありません。理解が強ければ「何を残すか」を判断しやすくなり、生成が強ければ編集後の幾何を自然に補えます。つまり、複数能力を同時に学ぶことで、3D制作の実用性が高まるということです。

将来的には、3Dモデリングや部分編集、オブジェクト補完を自然言語で行うワークフローが、より現実的になるかもしれません。ゲーム制作、製品設計、デジタルコンテンツ制作への波及も期待できます。

ソース: Hugging Face Daily Papers