DiffGI：薄い殻状 3D 生成を可微分なジオメトリ画像で扱う

導入

3D 生成モデルの多くは、暗黙的な体積表現を基盤にしています。この方式は汎用性が高い一方で、形状を水密な閉じた物体として扱いやすく、衣服や布、薄い板状の表面、開いた境界を持つ構造には向かない場合があります。DiffGI（Differentiable Geometry Image）は、この課題に対して、3D 表面を 2D のジオメトリ画像へ写し取り、なおかつ再構成までを学習可能な可微分パイプラインにするアプローチを提案しています。

核心ポイント

• 表面を中心にした表現：DiffGI が主に狙うのは、薄い殻状の 3D 形状です。衣服のようなアセットでは、内部の体積よりも表面の輪郭やしわ、開口部の表現が重要になります。ジオメトリ画像は、こうした表面情報を 2D グリッド上で扱うための手段になります。

• 二値占有マップから連続 TSDF へ：既存のジオメトリ画像ベースの手法では、二値の occupancy map が使われることがあります。しかし境界がピクセル単位に固定されるため、解像度を下げると階段状のアーティファクトや情報落ちが起きやすくなります。DiffGI は 2D Truncated Signed Distance Function（TSDF）を用い、固定グリッド内でも境界位置をサブピクセル精度で表現できるようにします。

• Marching Squares を可微分化：従来の表面再構成は、学習後の後処理として分離されがちでした。DiffGI は解析的な線形補間に基づく可微分 Marching Squares を導入し、再構成された 3D 表面上の損失を 2D 表現や潜在空間へ戻せるようにしています。

• 小さな潜在空間で生成：論文では、幾何を考慮した法線レンダリング損失を加えた DiffGI-VAE を学習し、複雑な 3D 表面を 32×32 の潜在空間に圧縮します。その上で、Transformer ベースの潜在拡散モデルを構築し、flow-matching 目的で条件付き 3D 生成を行います。

意義と影響

DiffGI の重要点は、単に 3D を 2D に変換することではありません。表現、表面抽出、損失による最適化を、同じ学習ループの中に入れた点にあります。衣服や布のような薄殻構造では、閉じた体積としての一貫性よりも、境界の正確さや表面の忠実度が価値になります。連続 TSDF は解像度に起因するギザギザを抑え、可微分な再構成は最終的な 3D 表面品質を直接学習に反映させます。

素材によれば、DiffGI は既存のジオメトリ画像方式やボクセルベース手法に比べ、再構成の忠実度と境界精度で優れた結果を示し、計算資源も抑えられるとされています。今後は、デモ公開後の実用性、衣服以外のデータへの適応、制作パイプラインへの組み込みやすさが注目点になります。

出典：Hugging Face Daily Papers