3DCodeVerse：コードで編集可能かつ検証可能な3D世界を構築

概要

生成AIの対象は画像や動画から、物体、シーン、そして広大な3D環境へ広がっています。しかし3Dコンテンツは、最終的な見た目だけで品質を判断できません。形状や大きさ、物体同士の位置関係、依存アセット、実行環境まで正しくなければ、実用的な成果物にはなりません。3DCodeVerseはこの問題に対し、コーディングエージェントに実行可能な3Dコードを書かせ、その結果を自動的に検査して改良する仕組みを提案します。

3つの構成要素

この研究エコシステムは、主に次の要素から成ります。

• 3DCodeVerse-2M：独立して実行できる3Dプログラムを集めた大規模なキュレーションデータセットです。オープンソース資料、専門的な3D表現からの変換、コーディングエージェントが新たに生成したプログラムを組み合わせて構築されています。各サンプルには、宣言された環境で実行するためのソースファイルやアセットがまとめられ、利用可能な説明と検証記録も付与されます。
• 3DCodeVerse Harness：3Dコンテンツの生成と改良を行う、複数エージェントによる有向非巡回グラフ型のフレームワークです。生成途中に人が毎回確認するのではなく、実行チェック、空間測定、視覚フィードバックを使って修正の必要性を判断します。
• 実証研究と指針：オープンモデルをデータセットでファインチューニングし、Harnessの各構成要素を分析して、3Dコーディングに有効な実践的知見を整理しています。

なぜコードで3Dを作るのか

一般的な3D生成では、完成した画像やモデルの見た目が中心になります。一方、コードを出力する方式では、物体の構造や配置がプログラムとして明示されます。そのため、静的オブジェクトだけでなく、関節を持つ物体、シーン、空間全体、アニメーションや時間的な動きも、編集、再利用、デバッグの対象にできます。

もちろん、コード化すれば自動的に正しくなるわけではありません。モデルは一見もっともらしいコードを書いても、座標を誤ったり、サイズ条件を満たさなかったり、必要なアセットを欠落させたりする可能性があります。そこでHarnessは複数の評価方法を組み合わせます。実行チェックでプログラムが動作するかを確認し、空間測定で数値化できる条件を検査します。さらに視覚フィードバックを利用し、固定ルールだけでは捉えにくい見た目の問題も発見して、次の修正につなげます。

結果と意義

提供された論文概要によれば、データセットでのファインチューニングはオープンソースモデルの3Dコーディング能力を大きく改善しました。また、Claude Opus 5.5を利用した比較条件において、3DCodeVerse HarnessはClaude Designの3D Object構成に対する人間のペア比較で90%の勝率を得たと報告されています。ただし、この数値は論文に示された特定の評価条件における結果であり、あらゆる3Dタスクに対する普遍的な優位性を意味するものではありません。

より重要なのは、データ、実行環境、自動検証、エージェント協調を一つの検証可能なパイプラインにまとめた点です。これにより、失敗の原因を分析しやすくなり、3D生成の研究は単なるデモから、測定可能なソフトウェア開発に近づきます。今後は、より多様なツールへの対応、信頼性の高い空間ベンチマーク、アセット依存性と実行コストの削減が、この方式の普及を左右するでしょう。

出典：Hugging Face Daily Papers