OmniCompass、時空間と視聴覚を網羅する動画理解ベンチマーク

なぜ新しい動画ベンチマークが必要なのか

マルチモーダルモデルは、動画の説明や質問への回答を生成できるようになりました。しかし、自然な回答を返せることと、正しい証拠を動画から見つけていることは同じではありません。対象がいつ現れたのか、画面のどこにあるのか、回答を支える音声情報は何かを特定できない場合でも、モデルはもっともらしい文章を出力できます。OmniCompass は、こうした能力をグラウンディング、知覚、推論に分けて評価します。

相補的な三つのタスク

OmniCompass には二つの評価トラックがあります。OmniCompass-VL は主に視覚と言語の入力に依存するモデル向けで、OmniCompass-AV は音声と映像を同時に利用する全モーダルモデル向けです。両トラックは次の三つのタスクで構成されます。

• 時間グラウンディング（TG）：指定された対象がいつ現れるかを特定する。
• 空間グラウンディング（SG）：対象がフレーム内のどこにあるかを特定する。
• 質問応答（QA）：何が起きたかを答え、知覚と推論を測る。

VL には異なる分野から集めた 820 本の動画と 2,460 件のインスタンスが含まれ、動画は短・中・長の三つの長さに分かれています。物語性と音声情報が豊かな AV サブセットは 240 本の動画、720 件のインスタンスで構成されます。各インスタンスでは、テキストだけで対象を指定する条件と、テキストと画像で指定する条件を対にして評価します。対象は同じまま参照方法だけを変えるため、モデルが提示形式に過度に依存していないかを確認できます。

データは人手で注釈され、複数回の品質確認を受けています。報告されている人手注釈時間は約 1,800 時間で、単純な規模拡大だけでなく、ラベルの信頼性も重視されています。

50 モデルの評価が示すこと

研究では 50 のマルチモーダル大規模言語モデルを評価し、タスク性能に加えて、対象指定の違いをまたいだ一貫性も調べました。精密な時空間定位と細粒度の知覚は依然として弱点であり、音声と映像の統合が必要な課題では、オープンソースモデルと商用モデルの差が特に目立ちます。

画像による参照を追加すれば、常に性能が上がるわけでもありません。効果はモデルとタスクによって異なり、一つの指定方法で高得点を取っても、別の方法で正しく答えられるとは限りません。一方、タイムスタンプはグラウンディング性能を一般に改善し、評価の安定性も大きく高めました。

意義

OmniCompass は動画理解を、対象の位置、出現時刻、出来事の内容、そして視覚・言語・音声の整合という証拠の連鎖として捉えます。開発者にとっては、知覚、定位、推論のどこで失敗しているかを切り分けやすくなります。利用者にとっては、単一のランキングスコアよりも、異なる参照条件で答えが安定しているかどうかが信頼性の判断材料になります。

動画エージェントやマルチメディア検索では、流暢な回答だけでなく、その根拠となる場面や領域を示す能力が求められます。OmniCompass は、単一の動画 QA スコアを動画理解全体の指標とみなすべきではないことを示す評価設計です。

出典：Hugging Face Daily Papers