FIRM-Video：動画を採点する前に証拠を確認する評価手法

テキストから動画を生成するモデルが実用化に近づくにつれ、評価の焦点は「動画を作れるか」から「複数の候補からどれを採用するか」へ移っている。しかし、動画の良し悪しは一つの尺度では測りにくい。プロンプトの条件を満たしているか、登場する物体や動作が時間の流れの中で破綻していないか、画像に明らかな欠陥がないかを、分けて確認する必要がある。

FIRM-Videoが提示する中心的な考え方は、英語でいう「check before you score」、つまり採点の前に確認するという順序である。論文によれば、固定ルーブリックによる全体評価や自由形式の推論に依存すると、動画の一部しか調べない、映像に裏付けられない説明を生成する、低い評価の原因を複数の観点の間で混同するといった問題が起こり得る。そこで本手法は、評価をチェックリストに基づく検証工程へ組み替える。各基準を時間的な視覚証拠と照合し、確認できた判断だけを最終スコアに集約する。

三つの評価軸

• 指示追従：プロンプトを重み付きの原子的な要求へ分解する。指定された物体、動作、場面の条件などを別々に確認するため、全体的に似ているだけの動画が、重要な条件の欠落を隠すことを防ぎやすい。
• 世界の一貫性：一般的な整合性の基準を一律に適用するのではなく、プロンプトと対象動画に合わせ、実際に見える物体や動作を中心に確認項目を作る。時間の経過に伴う挙動も評価対象になる。
• 知覚品質：汎用的な視覚欠陥の分類を利用し、動画で観察できる破綻やアーティファクトをチェックする。プロンプトに依存しない品質評価の土台を用意する狙いだ。

確認が終わると、検証済みの基準とスコアは自然言語の分析へ変換され、エンドツーエンドの報酬モデル学習に利用される。ここで重要なのは、単に説明文を長くすることではない。説明を確認済みの項目から生成することで、理由を映像上の具体的な判断へ結び付け、後からスコアに合わせて理由を作るような評価を抑えようとしている。

データ面では、29,348本の動画から88,044件の次元別インスタンスを集めたFIRM-Video-90Kを構築した。さらに、250本の動画に対する750件の点単位の人手アノテーションからFIRM-Video-Benchを作成している。論文の報告では、Qwen3-VLをベースにしたFIRM-Video-8Bが、このベンチマークで全体の平均絶対誤差（MAE）において最良の結果を示した。三つの動画生成器を対象とするBest-of-8サンプリングでも、VBenchのTotal、Quality、Semanticの各スコアで一貫して最高値を得ている。

意義と限界

FIRM-Videoの意義は、動画の好みを一つの不透明な印象として扱わず、検証可能な判断へ分解した点にある。自動的に候補動画を順位付けするシステムでは、失敗を最終スコアだけでなく、どの要求や欠陥の確認で生じたかという形で追跡しやすくなる可能性がある。

一方で、チェック項目の設計、各要求の重み、視覚証拠の解釈には依然として評価者の判断が入る。この手法は主観性を完全に除去する万能な採点器というより、報酬モデル用の教師データを、より明示的で監査しやすい形に構成するための方法論と見るのが適切だろう。

出典：Hugging Face Daily Papers