UniWorld-ViewがWorldScore首位に：1枚の画像から制御可能な新視点動画へ

導入

世界モデル分野で、中国発のオープンソースプロジェクトが存在感を高めている。兔展智能が北京大学、鵬城実験室と共同開発した UniWorld-View は、WorldScore ランキングで首位に立った。入力は1枚の画像、または日常的に撮影した単眼動画でよい。そこにカメラ軌道を与えると、ズーム、パン、移動、さらにはシーンを一周するような新視点動画を生成する。

特徴は、単一画像からの 3D 生成と、動画からの 4D 生成を同一モデル・同一コードで扱おうとしている点にある。素材によれば、モデルは国产昇腾算力に適配され、コードと重みも公開されている。

重要ポイント

• 大きな視点差への対応：NeRF や 3DGS は多視点入力に強い一方、単眼動画のように視点カバーが乏しい場合、穴やアーティファクトが出やすい。生成モデルだけに頼る方法は補完力があるが、明示的な 3D 制約が弱いと大きなカメラ移動で破綻しやすい。
• 遮蔽を考慮した点群レンダリング：UniWorld-View は、幾何情報を条件として生成モデルに渡す流れを採る。ただし、点群レンダリングで起きやすい前景と背景の裂け目、背面から正面テクスチャが見える問題に重点的に対処している。
• 二重再投影によるマスク生成：ソース画像を目標視点へ投影し、さらに元の視点へ戻す。戻れないピクセルを遮蔽領域として扱い、誤ったテクスチャを残さず、生成モデルが補うべき穴として明示する。
• 法線フィルタで背面漏れを抑制：各点の法線と視線方向を比較し、目標カメラに対して背を向ける点を除外する。これにより、物体の裏側に回り込んだ際の不自然な透けを減らす。
• 二系統の条件注入：幾何ストリームは点群レンダリング画像とマスクで構造を固定し、外観ストリームは Ref-DiT モジュールを通じて元動画から色や質感の手がかりを取り出す。
• 4D 再構成への拡張：まず第1フレームで時間を止め、静的な周回ビューを作って外観の基準にする。次に固定視点で同期した多視点動画を生成し、最後に 4DGS 最適化へ渡して動的シーンを構成する。

意義と影響

UniWorld-View の意義は、単に画像を動画化することではない。信頼できない領域をマスクし、背面点を取り除き、拡散モデルには補完すべき部分を明確に渡す。幾何制約と生成能力を組み合わせることで、単眼素材から 3D・4D コンテンツを作るハードルを下げようとしている。

応用先としては、映像制作のプリビズ、ゲームアセット、商品展示、空間ウォークスルー、デザイン制作フローなどが考えられる。コードと重みの公開により、研究者が再現や比較を進めやすくなる点も大きい。

もちろん、ランキング首位は万能性を意味しない。大角度の視点変化、複雑な動的遮蔽、細部構造の一貫性は今後も検証が必要だ。それでも UniWorld-View は、疎な視覚入力から制御可能な 4D シーン生成へ向かう重要な一歩といえる。

出典：量子位