Apple-PI：動画生成モデルの物理推論を測る新ベンチマーク
読了目安 2 分
動画生成モデルは、しばしば「世界モデル」と呼ばれます。しかし、見た目が自然な動画を出せることと、物理法則を理解していることは同義ではありません。Apple-PI は、その違いを明確に測るために作られたベンチマークです。
Apple-PI の構成
このベンチマークは3つの要素で成り立っています。
- Orchard：古典力学の代表的な10課題を含む400本の動画データセット
- 3段階プロトコル：Perception（知覚）、Formulation（定式化）、Deduction（演繹）
- 評価スイート：MLLM による主観評価と、物理法則に基づく客観指標を組み合わせた方式
さらに、情報図で注釈された最初のフレームを使って chain-of-frames prompting を行い、生成動画をモデルの「見える推論痕跡」として扱います。これにより、どこで失敗したのかを段階ごとに診断できます。
何が新しいのか
Apple-PI の新規性は、出力の見た目だけでなく、推論の忠実性まで問う点にあります。特に、単一の物理法則だけを扱う課題と、複数の法則を組み合わせる課題を分けているため、干渉要因の少ない診断と一般化能力の検証を両立できます。
11モデルの評価では、どのモデルもまだ十分に信頼できる物理世界シミュレータとは言えず、最良モデルのスコアも 0.473 にとどまりました。分析からは次の問題が見えてきます。
- 知覚→定式化→演繹 の各段階にボトルネックがある
- 複数法則の状態 انتقال が弱い
- シミュレーションと実世界の間に Sim-to-Real gap が残る
意義
Apple-PI の価値は、単なる新しいランキングではなく、失敗の場所を特定できる診断基盤を与えたことにあります。モデルが映像を読み取れないのか、法則を表現できないのか、それとも最後まで推論をつなげられないのかを切り分けられます。
動画モデルが将来、信頼できる物理シミュレータや世界モデルになるには、見た目の自然さだけでなく、法則に忠実な推論が必要です。Apple-PI はそのための重要な第一歩と言えます。
コメント
ログイン状態を確認中…
コメントを読み込み中…