WorldMemBench、動画ワールドモデルの記憶能力を体系的に評価

動画生成モデルがより長く、現実的でインタラクティブな体験を作れるようになるにつれ、画質や動画の長さだけでは性能を判断できなくなっています。重要なのは、モデルが世界の過去を覚え、その結果として生じた変化を時間をまたいで維持できるかどうかです。人物がカメラの外へ移動した後も同じ人物として描かれるのか、物体の位置や形状が戻ったときに保たれているのか、視界外で起きたイベントの結果が残るのかが問われます。

WorldMemBenchは、こうした「世界の記憶」を体系的に測るためのベンチマークです。記憶を一つの画面類似度にまとめるのではなく、静的記憶と動的記憶に分けて評価します。制御されたカメラの離脱と、複数回の再訪を含む軌跡を使い、モデルが一時的に見えなくなった世界をどのように維持するかを調べます。

主な評価項目は次の通りです。

• 人物の記憶：人物の同一性と外見が保たれるか。
• 物体の記憶：外観、配置、幾何形状が一貫しているか。
• 環境の記憶：シーンの内容と空間構造が維持されるか。
• イベントの記憶：イベントが期待通りに進み、その後の状態が残るか。
• 補助指標：動画品質とカメラ追従精度を測り、記憶の問題と生成・制御の問題を切り分ける。

ベンチマークは260のテストケースで構成され、9つの代表的なモデルが評価されました。主要な示唆は、静的な内容をうまく保持できても、動的な世界の発展を正しく扱えるとは限らないことです。初期状態に似た人物や場面を再現できても、過去のイベントによって変化した状態を記憶できない場合があります。また、初回の再訪では問題が目立たなくても、再訪を重ねると記憶の劣化が現れます。

この違いは、ゲームや仮想環境、長時間の動画生成にとって重要です。利用者が求めるのは、毎回似た画像を出すモデルではなく、過去の行動に反応し、歴史を蓄積する世界です。外観、形状、イベント状態を同じ枠組みで評価するWorldMemBenchは、単純な画像比較よりも失敗箇所を特定しやすくします。

自動評価と人間の判断にも整合性が見られたと報告されています。ただし、このベンチマーク自体が永続的な記憶の構築方法を解決するわけではありません。その価値は、記憶がどこで壊れるのかを共有された基準で明らかにし、短期的な映像の連続性から、長期的で時間的一貫性を持つ世界の維持へ研究を促す点にあります。

出典：Hugging Face Daily Papers