VideoPhysEdit、物理編集後の動きを予測する動画編集手法

はじめに

近年の動画編集モデルは、物体の外観変更だけでなく、影や遮蔽、局所的な置換にも対応しつつあります。しかし、物理的な編集を加えた後に何が起こるかを一貫して生成することは、依然として難しい課題です。あるフレームで物体を移動または削除すると、その後の衝突、転がり、落下、遮蔽関係まで変化する可能性があります。現在の画面だけを修正する方式では、見た目は自然でも因果関係が不自然になる場合があります。

VideoPhysEditは、この課題を物理反実仮想動画編集（PCVE）として定式化します。入力動画、物理的な編集内容、編集を実行するフレームを与えると、介入後の運動と相互作用を表す反実仮想動画を生成します。対象は剛体シーンで、追加学習を必要としないパイプラインとして設計されています。

再構成してから介入する

この手法の中心は、動画生成モデルに未来を直接推測させないことです。まず入力動画から、シミュレーション上で元の運動と相互作用を再現できる物理シーンを再構成します。これにより、剛体の形状や状態、運動、接触関係など、元の動画を説明するための構造を明示的に扱います。

次に、ユーザーが指定した編集を実行フレームで物理的な介入として適用します。変更後のシーンをシミュレーションし、介入によって生じる物体の将来軌道を得ます。その軌道を動画生成のガイドとして使うことで、生成モデルは視覚的な表現を担い、シミュレーションは「次にどのように動くべきか」という制約を提供します。

物理的な正しさを評価する

論文では、PCVE-RigidBenchも公開されています。この合成ベンチマークには、元動画と反実仮想の目標動画のペア、さらに物理的な正解情報が含まれます。そのため、編集領域の見た目が変わったかだけでなく、編集後の動きや相互作用が期待されたものになっているかを検証できます。

また、Physical Edit Scoreという評価指標も提案されています。論文概要によれば、VideoPhysEditのスコアは0.376で、比較対象となったオープンソース手法や商用モデルを物理編集の正確さで大きく上回り、視覚的な忠実度も競争力のある水準を維持しました。ただし、この結果は剛体シーンと合成ベンチマークに基づくものであり、現実のあらゆる動画にそのまま適用できることを意味するものではありません。

意義と限界

VideoPhysEditの意義は、動画編集を画面の再描画から、実行可能なシーン介入へと広げた点にあります。映画のプリビズ、インタラクティブコンテンツ、ロボット用データ生成、世界モデルの評価などでは、単一フレームの鮮明さだけでなく、出来事の連鎖が物理的に整合していることが重要になります。

一方で、柔らかい物体、液体、複雑な接触、現実映像における遮蔽や深度の不確実性は、シーン再構成を難しくします。今後は、剛体以外の環境へシミュレーションと動画生成の連携を拡張し、実写動画を反映した評価体系を整えることが課題になります。

出典：Hugging Face Daily Papers