PAWBenchが問う、動画生成モデルは確率まで再現できるのか

導入

動画生成モデルは、単なる映像合成器から「世界モデル」へと語られるようになっています。しかし、見た目が自然で物理的にも妥当に見える動画を1本生成できることは、世界の動きを十分に理解していることとは別です。現実の多くの現象には唯一の答えがありません。同じ初期観測と同じ行動から、複数の結果が成立する場合があります。

このとき望ましいモデルは、もっともらしい軌跡を1つだけ出すのではなく、起こりうる行動の範囲と、それぞれの起こりやすさを再現しなければなりません。PAWBenchは、この要件を「確率的整合」（probabilistic alignment）として整理したベンチマークです。

単一サンプルの評価を超えて

従来の動画評価は、個々の動画が現実的か、プロンプトに従っているか、時間的に滑らかかといった点を主に見てきました。こうした指標は依然として重要ですが、同じ条件で何度も生成したときに、モデルが環境の不確実性を正しく表現できるかまでは分かりません。

モデルが毎回、見栄えのよい1つの結果だけを選んでしまえば、他にも十分ありうる結果を見落とします。逆に、多様な動画を生成できても、各結果の出現頻度が現実と大きく違えば、確率的に整合しているとはいえません。

PAWBenchと評価手順PAWEvalは、次の点を重視します。

• 反復ロールアウト: 同じ初期条件と行動のもとで複数回生成する。
• 結果レベルの整理: 動画を、観測可能な物理的行動の分布へ変換する。
• 範囲と確率の同時評価: 有効な結果を網羅し、その相対的な確率も合わせる。

つまり、動画生成モデルを美しい映像を作る装置としてではなく、世界のダイナミクスを確率的にサンプリングするシステムとして検査します。

評価から見えたギャップ

研究チームは50のシナリオと11の現行システムを対象に評価しました。中心的な結論は明確です。複数の有効な行動を十分にカバーしながら、参照分布の確率まで一貫して一致させるモデルはありませんでした。

これは、現在のモデルがすべて非現実的な動画を出すという意味ではありません。局所的な見た目のリアリティと、繰り返し生成における分布の正しさは、別々の能力だということです。複数の未来を考慮して計画するエージェントにとって、この差は重要になります。

さらに研究では、言語プロンプト、初期ノイズのサンプリング、モデルの学習という3つの要因が予測分布を変えられるかも検討しました。ランダム性は単なるノイズではなく、代替的な未来を表現する手段になり得ます。ただし、提供された素材は、これらの要因によって問題が解決済みだとは述べていません。

意義

ロボット制御、インタラクティブシミュレーション、計画を行うエージェントでは、もっともらしい未来を1つ選ぶだけでは不十分です。どの結果が起こりうるのか、そしてどの程度起こりやすいのかを把握する必要があります。

PAWBenchの意義は、評価の問いを変えた点にあります。「この動画は正しそうか」だけでなく、「同じ実験を繰り返したとき、正しい分布を再現できるか」を問うからです。世界モデルが現実の意思決定を支えるには、生成品質だけでなく、不確実性を学習・評価する仕組みが必要になります。

出典：Hugging Face Daily Papers