4DAnyone：身近な単眼動画から動的な4D人物を再構成

導入

普通のカメラで人物を撮影し、その動画から自由な視点で観察できる動的な3D人物を得ることは、4Dビジョンにおける重要な目標です。しかし単眼動画には一つの観察方向しか含まれません。見えていない部分を補いながら、人物の同一性、衣服の模様、形状、動きを視点間および時間方向でそろえる必要があります。4DAnyoneは、キャリブレーションされていない単眼動画から多視点動画を生成し、その結果を4D Gaussian Splatting（4DGS）へ変換する二段階の流れを提案します。

多視点生成のボトルネック

カメラ制御型の動画拡散モデルは、もっともらしい新規視点を作れます。ただし、4D再構成で必要となる多数の視点を同時に扱う場合、単なる見た目の自然さでは不十分です。DiTの1回の前向き計算に入らないため、目標視点を複数のグループへ分割すると、二つの問題が発生します。

• 参照コンテキストの増大。 生成済みの視点をすべて参照すると、情報量は視点数に応じて増加します。その結果、外観を導く信号が弱まり、服装や質感、人物らしさを保ちにくくなります。
• グループ間の協調不足。 別々に処理された視点グループは直接情報交換できません。小さな違いが積み重なり、身体の比率や局所形状などに全体的なドリフトが生じる可能性があります。

4DAnyoneはこの二つに対応する設計を組み合わせます。Reference Context Packing（RCP）は、増え続ける参照視点を固定長の混合解像度コンテキストへ圧縮します。これにより参照側の複雑度を視点数に対してO(1)に抑えつつ、異なるスケールの外観情報を残します。

Target Context Routing（TCR）は、デノイズの途中で目標視点のグループ分けを入れ替えます。ノイズが大きい段階では、異なるグループが広い範囲の構造情報を共有できるようにし、低ノイズの段階では細部の安定化を重視します。分割処理による局所的な判断を、より整合した全体へ近づける考え方です。

生成された多視点動画は、そのまま最終出力になるのではなく、4DGS再構成のための中間表現として使われます。つまり動画拡散モデルは、単に別角度の映像を作る装置ではなく、単眼入力に欠けている空間情報を補う橋渡し役として位置づけられています。

データと評価

著者らは自社製ゲームエンジンでMVGameHumanデータセットを構築し、ライトステージおよび実環境動画のデータセットと組み合わせて学習しました。DNA-RenderingとDyMVHumansでの実験では、新規視点動画の品質と、その後の4DGS再構成の双方で従来手法を上回り、実環境動画にも頑健に一般化したと報告されています。提示された素材には具体的な数値がないため、改善幅を定量的に判断することはできません。

意義と課題

4DAnyoneの意義は、4D再構成に必要な多視点の一貫性を、モデルの生成能力だけでなくコンテキスト管理の問題として扱った点にあります。RCPは参照情報が増えたときの誘導力の低下を抑え、TCRは視点グループの分割による全体調整の不足を補います。

この方向性は、デジタルヒューマン、バーチャル試着、ゲームキャラクター制作、映像のプリビズ、遠隔インタラクションなどの入力負担を下げる可能性があります。一方、単眼撮影に固有の遮蔽、深度の曖昧さ、速い動きは残ります。生成による補完が実在人物と異なる内容を作るリスクもあるため、4DAnyoneは単眼再構成の不確実性を完全に解消する手法というより、実用化への障壁を下げる生成ベースのアプローチと見るのが適切です。

出典：Hugging Face Daily Papers