Video-IFBench、動画マルチモーダルモデルの指示追従を検証

導入

動画マルチモーダル大規模言語モデルは、物体の認識、出来事の説明、質問への回答などで高い能力を示している。しかし、回答が一見正しくても、ユーザーの指示をすべて実行できているとは限らない。実際の利用では、映像と音声の両方を根拠にする、複数の作業を順番に処理する、動画内の出来事に応じて回答経路を選ぶ、決められた形式で出力するといった条件が同時に課される。

従来の動画ベンチマークは、主に最終回答の正確さを測ってきた。Video-IFBenchはこの不足を補い、動画の内容理解と、ユーザーが指定した制約の実行を分けて評価する。

主なポイント

• 4種類の指示構造：単一タスク、複数タスク、選択、入れ子のテンプレートを採用する。後者では、動画を確認したうえで適切な分岐に進む必要がある。
• 視覚と音声を利用：制約は画面上の出来事だけでなく、音声情報にも基づく。視聴覚を組み合わせた実際の対話に近い設計である。
• 細かな制約分類：32のタスクタイプと39種類の手作業で設計された制約カテゴリを含み、意味的な条件と、出力形式のような表層的条件を扱う。
• 半自動のデータ構築：MLLM、プログラム処理、人手による検証を組み合わせ、アノテーションの負担を抑えながら約1.5Kのサンプルを作成した。
• 複数モデルを評価：20以上の近年のMLLMを調査し、正解率だけでなく、指示をどこまで守ったかに注目した。

評価から見える課題

報告された結果によれば、現在のモデルでは動画における指示追従が依然として難しい。1つのプロンプトに含まれる制約が増えるほど、一部の条件を落としやすくなる。また、意味的な制約では、動画中の出来事を理解した後、その理解を指定された回答や操作へ正確に変換しなければならないため、単純な形式指定より難しい。

条件分岐も重要な弱点である。モデルが関連する出来事を部分的に認識していても、その情報を次の処理経路の選択に利用できない場合がある。つまり、失敗は必ずしも「動画を見誤った」ことだけを意味しない。計画、分岐の選択、処理の完了に問題がある可能性も示している。

意義と限界

Video-IFBenchの意義は、理解能力と対話の信頼性を切り分けた点にある。動画アシスタント、マルチメディア検索、マルチモーダルエージェントでは、音声の無視、条件の取りこぼし、形式違反のいずれも実用性を損なう。分類体系は、失敗が知覚、意味推論、指示実行のどこで起きたかを調べる手がかりにもなる。

一方、公開された概要から確認できるデータは約1.5Kサンプルで、モデル別の詳細スコアや順位までは示されていない。そのため、これは動画知能全体を決めるランキングというより、指示追従を診断するための基準として捉えるのが適切だ。動画質問応答の正解率だけでは、実際の利用時の信頼性を十分に表せないことも、この研究は示している。

出典：Hugging Face Daily Papers