動画を見るだけではない：動画中心の深掘り調査エージェントを評価する

導入

深掘り調査エージェントは、ウェブを検索し、複数の資料を整理して長いレポートを作成できるようになっている。しかし既存の評価は、テキストの質問やウェブ文書を出発点にするものが中心だ。動画を起点にする場合、エージェントは映像や音声を理解するだけでは足りない。重要な場面を見つけ、外部資料で主張を確認し、その関係を読者が追跡できる形で示す必要がある。

研究論文「Beyond Watching and Searching: Benchmarking Agents for Video-centered Deep Research Reports」は、この課題を動画中心型の深掘り調査レポート生成として定式化した。

動画QAとの違い

ユーザーは動画と調査依頼を与える。エージェントはそこから調査すべき問いを整理し、映像・音声・発話を調べ、ウェブや画像、別の動画などのマルチモーダルな証拠を検索し、関連する動画時点へリンクした対話型レポートを作る。

これは、画面に何が映っているかを答える一般的な動画QAよりも広い仕事だ。理想的なレポートは、必要な場面をすぐに探せるだけでなく、動画内の主張が外部資料に支えられているかを確認できるようにする。また、動画で示された手順の再現や、動画と周辺情報を踏まえた意思決定にも役立つ必要がある。

OmniDR-Benchの評価設計

研究チームは、19の実世界サブカテゴリにまたがる中国語・英語50タスクからなるOmniDR-Benchを公開した。評価基準は合計6,414件に及ぶ。単一の総合的な印象評価に頼るのではなく、Omni Atomic Rubric Trees（Omni-ARTs）によって、成果物を細かな条件に分解して判定する。

主な評価軸は次の3つだ。

• 視聴覚グラウンディング：主張が正しい人物、行動、発話、出来事、動画時点に対応しているか。
• マルチモーダル証拠の利用：外部のウェブ、画像、動画などを適切に検索し、元動画との関係を説明できているか。
• 対話型の提示：読者がレポートを操作し、根拠となる場面へ移動し、内容を検証できるか。

各評価木には23の共通方向と、タスク固有の二値基準が含まれる。さらに、独立した証拠収集、自動チェック、行動面の調整、複数回の人手レビューを組み合わせるAudited Rubric Constructionによって、評価基準の品質を高めている。

実験が示す課題

18種類のエージェント構成を比較した結果、最高スコアは100点満点中63.3点だった。動画理解、検索、レポート生成の各機能は一定水準に達しているものの、すべてを一貫した調査工程として統合する力にはまだ余地がある。

特に、動画カテゴリをまたいだ対応範囲、映像・音声・テキストを横断する因果および論理分析、主張と引用の正確な対応が課題として示された。関連しそうなページを見つけるだけでは不十分で、その資料が問題の主張を本当に裏付けているか、そして読者が元動画のどの場面と結び付くかまで示さなければならない。

意義

このベンチマークは、評価の問いを「動画を説明できるか」から「動画を軸に調査を実行できるか」へ移す。教育教材、製品デモ、インタビュー、作業手順、科学的な実演など、説明と検証を同時に求める用途に近い。

マルチモーダル調査の本質は、入力形式を増やすことだけではない。時間位置の特定、異なるモダリティ間の推論、情報源の検証、そして結論から根拠へ戻れるインターフェースが必要だ。OmniDR-Benchは、今後の動画エージェントが目指すべき実用的な基準を示している。

出典：Hugging Face Daily Papers