PhyRubric、テキスト・動画生成の物理常識を診断可能に評価

導入

テキスト・動画生成モデルの評価は、映像の鮮明さや動きの滑らかさだけでは十分ではありません。モデルが「世界シミュレーター」として扱われるようになるなら、物体や出来事が基本的な物理常識に従っているかも重要になります。しかし従来のベンチマークでは、評価者が動画を見て直感的に一つの総合点を付けることが多く、その点数だけでは、どの物理原則に違反したのかを説明できません。

PhyRubricは、この問題に対して、より細かな診断型の評価を提案します。まずテキストから満たすべき意味的・物理的条件を分解し、その後に生成動画を条件ごとに検証します。

動画を見る前に評価基準を作る

このフレームワークの中心は、動画を確認する前にキャプション専用の rubric を構築することです。生成結果を先に見てから基準を調整する可能性を抑え、評価対象の動画に引きずられない判断を目指します。基準には、指定された対象や動作が含まれているかだけでなく、その状況に必要な物理的条件も含まれます。

各項目は個別の verdict として判定され、動画内のタイムスタンプに結び付いた証拠が添えられます。最終スコアは、この項目単位の判断から導出されます。モデル開発者にとって、これは単一の印象点より実用的です。失敗した条件と、それが観察できる場面を特定しやすくなるためです。

研究チームはこの考え方を PhyRubric-Bench として実装し、34カテゴリを五つの物理領域にまたがって収録しました。さらに3788本の動画からなる PhyRubric-Train を用意し、オープンソースの PhyRubric-Judge を微調整しています。

結果：難しいのは動きだけではない

10種類のテキスト・動画生成モデルを調べた結果、物理常識はまだ十分に解決されていないことが示されました。特に、多くのモデルにとって熱と音響が難しい領域でした。

音響の評価は、動画に実際の音声が収録されていることを前提にしません。無音の生成動画でも、スピーカーの音で紙がはためく、鳴っている目覚まし時計が震えるといった、音の目に見える結果を確認できます。熱についても、対象をそれらしく配置するだけでなく、温度変化の結果を映像として表現する必要があります。

提供された素材によれば、PhyRubric-Judgeは既存のオープンソース判定器より人間の判断との相関が高く、最先端の非公開判定器 Gemini 4 Argon と同等の水準に達しました。一方、領域別の相関値は示されていないため、熱や音響で人間との一致度が特に低いと断定することはできません。

意義と今後の影響

PhyRubricの価値は、新しい順位表を作ることだけではありません。項目別の判定とタイムスタンプ付き証拠により、研究者は生成された動作、シーン理解、因果的一貫性などのどこに問題があるかを調べやすくなります。また、キャプション専用の基準は、どのプロンプトにも同じチェックリストを適用する方法より、個別の要求を反映しやすい設計です。

もちろん、証拠の解釈そのものは視覚言語モデルに依存し、今回の素材だけでは rubric の作成手順や人手評価の詳細までは分かりません。それでも、世界モデルを評価する際に「それらしく見えるか」だけでは不十分だという方向性は明確です。今後は、映像中の出来事が検証可能な物理法則に従っているかを示し、その結果をモデル改善に結び付ける評価が重要になります。

出典：Hugging Face Daily Papers