BlenderWorld、視覚エージェントの3D制作能力を現実的に評価

導入

もっともらしい画像を生成することと、実際に利用できる3Dプロジェクトを納品することは同じではありません。3D制作エージェントには、参照資料から形状、材質、縮尺、照明、物体同士の位置関係を読み取り、Blenderを操作し、結果を確認して修正する能力が求められます。BlenderWorldは、単一の美しいレンダー画像ではなく、この一連の作業を評価するために設計されました。

完成したBlenderプロジェクトを評価

BlenderWorldは、9分野22サブカテゴリーにまたがる223のタスクを収録しています。対象は建築、製品デザイン、自然環境、キャラクターアニメーション、科学可視化などです。入力もテキストだけではなく、画像、動画、構造化された仕様ファイルに広がっています。複数の資料を組み合わせる実際の制作環境に近い構成です。

提出物として求められるのは、編集可能な完全なBlenderプロジェクトです。研究チームは、形状、空間配置、材質、機能性など13の観点について、2,651件のタスク固有の二値基準を用意しました。プロジェクトは自動選択された8つの主要視点からレンダリングされ、視覚言語モデルが画像を評価すると同時に、別のエージェント評価器がプロジェクト内部の構造を確認します。さらに、リアリズムや物理的妥当性を含む8つの観点から、全体的な品質も採点されます。

この方法は、画像だけの評価が抱える問題に対応します。ある視点では自然に見えても、別の視点では面の欠落、比率の誤り、交差、編集しにくい構造が見つかることがあります。複数視点のレンダリングはこうした不整合を露呈させ、プロジェクトそのものの検査は、偶然見た目が似ているだけの結果と、実際に構築されたシーンを区別する助けになります。

大まかな理解から細部の実行へ

13の最先端モデルを比較した結果、GPT-6-Astraが融合スコア79.9で首位となり、Opus-5が73.0、GPT-5.6-Solが67.7で続きました。ただし、より重要なのは、最も高いモデルでも全細粒度要件を満たしたタスクが42.2%にすぎない点です。

モデルは題材や大まかな構図を把握できても、正確な位置、寸法、接続、機能上の関係を一貫して維持するのは苦手です。画像や動画を参照する場合も、表面の外観は再現できても、見えない構造や用途まで正確に復元できるとは限りません。初期のモデリングで生じた小さな誤りが、後続の編集で拡大する可能性もあります。

研究と制作への意味

BlenderWorldの価値は、単なる順位表にとどまりません。細粒度の基準により、失敗が形状、材質、配置、機能性のどこで起きたのかを分析できます。複数視点とファイル構造の検査を組み合わせることで、専門的な制作工程に近い評価も可能になります。

今後のモデル開発では、視覚認識の強化だけでなく、安定したツール操作、シーン状態の記憶、幾何学的制約の推論、レンダリング結果を利用した反復修正が重要になります。現時点では、モデルは初期ブロックアウトや部分的な編集に役立ちますが、縮尺、構造、編集可能性については人間による確認が必要です。公開されたコードやデータ、ブラウザーで結果を比較できる3Dギャラリーは、今後の研究基盤にもなります。

Hugging Face Daily Papers