InfiniSplat：単一画像 3DGS を表面整合型の表現へ近づける新手法

導入

1 枚の写真から、別の視点でも自然に見える 3D シーンを作ることは、新規視点合成における重要な課題です。3D Gaussian Splatting（3DGS）は、高速なレンダリングと高い視覚品質を両立しやすい表現として注目されています。しかし一般的な 3DGS では、多視点画像やシーンごとの最適化が必要になることが多く、入力の手間や計算コストが課題になります。

InfiniSplat は、より難しい「単一画像・フィードフォワード」の設定に取り組む手法です。1 枚の入力画像から直接、レンダリング可能な 3D ガウス表現を生成することを目指します。本研究は ACM Transactions on Graphics（SIGGRAPH Asia 2026 Journal Track）に採択されています。

核心ポイント

• 従来手法の弱点：ピクセル整合に偏った表現
  既存の単一画像 3DGS 手法の多くは、固定された画像グリッド位置からガウスプリミティブを予測します。この方法は近い視点では有効に見える場合がありますが、実際のシーン表面との結び付きが弱く、大きく視点を変えると構造が崩れたり、プリミティブが散らばったりしやすくなります。

• 表面整合型の支持点配置
  InfiniSplat は、ガウスを単純にピクセル中心へ割り当てるのではなく、深度によって誘導される局所的な表面構造を使って 2D 支持点をサンプリングします。これにより、ガウスの配置をよりシーン表面に沿ったものに近づけます。

• 暗黙的ガウス復号
  サンプリングされた支持点に対して画像特徴を問い合わせ、その特徴を query-conditioned implicit decoder に入力してガウス属性を予測します。固定ピクセル格子から予測を切り離すことで、より一貫した 3D 構造を形成しやすくする設計です。

• 大きなベースラインでの新規視点合成
  素材によれば、InfiniSplat は複数のクロスデータセット NVS 評価で、単一画像フィードフォワード型のベースラインに対して最先端の性能を示しています。また、Hypersim の室内合成データで学習したモデルが、複雑なオープンワールドシーンへゼロショットで汎化する例も示されています。

意義と影響

InfiniSplat の重要性は、単に画質を改善する点だけではありません。単一画像 3DGS において、ガウスプリミティブをどこに置くかという表現設計そのものが、視点変化への強さを左右することを示しています。固定ピクセル格子に縛られたままでは、モデルが実際の表面構造を十分に表現しにくいという問題があります。

この方向性は、写真からの 3D 化、AR/VR コンテンツ生成、空間理解、迅速なシーン可視化などに応用可能性があります。単一画像入力は撮影コストを下げ、フィードフォワード推論はシーンごとの最適化を避けられます。ただし、素材には具体的な数値指標は含まれていないため、詳細な評価は論文本文、コード、デモと合わせて確認する必要があります。

出典：Hugging Face Daily Papers