動画世界モデルに物理学の最終試験、見た目のリアルさを超えて

導入

動画世界モデルに求められているのは、現実らしい映像を作ることだけではない。次に何が起きるかを予測し、身体を持つエージェントの計画を支えることも期待されている。そのためには、テクスチャーや照明、動きが自然に見えるだけでは不十分だ。衝突、液体の流れ、熱変化などが基本的な物理法則に反していれば、見栄えのよい動画でも予測モデルとしては信頼できない。

何を評価するのか

論文が提案する World Models' Last Exam in Physics は、「物理的に正しいか」を観測可能な関係の測定へ置き換えるベンチマークである。40の統制タスクは、次の分野を扱う。

• 力学
• 光学
• 流体
• 熱現象と相変化
• 電磁気
• 表面張力

各タスクには初期画像と生成プロンプトがあり、確認すべき物理的基準も事前に定義されている。参照動画を逐フレームで再現できたかを問うのではなく、生成された映像の中に指定された観測可能な関係が現れているかを調べる点が特徴だ。表現方法が異なるモデルでも、同じ物理条件に基づいて比較できる。

見た目から測定へ

評価器はまず、対象となる現象が動画内で十分に観測できるかを確認する。物体が途中で消えたり、画面が不鮮明になったりした場合に、無理に物理判断を下さないためである。観測可能だと判断されると、タスクごとに設計された定量的な物理測定が適用される。

実験では8つの動画生成モデルから1,280本の動画を評価した。結果からは、物理的不整合が依然として頻繁に現れること、そしてタスクによって性能が大きく変わることが分かる。最も高いモデルの総合得点は100点満点中57.76点だった。つまり、映像の視覚品質が向上しても、複数の物理領域で一貫した振る舞いが得られるとは限らない。

さらに、既知の物理関係を持つ合成動画でも測定モジュールを検証し、統制された条件で機能することを示す材料を得ている。直接的な視覚言語モデル評価との比較では、タスク内の順位付けとペア比較の双方で、提案評価器のほうが人間の判断に近かった。

意義と注意点

この研究の価値は、単一の見た目スコアではなく、どの物理領域で失敗したのかを調べられる点にある。例えば、運動は表現できても流体や熱の関係を捉えられないモデルがあれば、その弱点を個別に追跡できる。ロボット操作やシミュレーション、行動計画にとって、こうした診断は画質指標より実用的である可能性がある。

一方、このベンチマークは選ばれた観測可能な関係を測るものであり、物理法則全体の理解を証明するものではない。映像の可視性、タスク設計、測定モジュールの限界も得点に影響する。今後は、行動条件付き生成、長期予測、実環境やシミュレーション環境との相互作用評価と組み合わせる必要がある。世界モデルの課題は、正しく見える映像から、物理的に正しい結果の予測へ進むことだ。

出典：Hugging Face Daily Papers