Video-DeepResearch：連続動画に対応する次世代マルチモーダル研究エージェント

はじめに

Video-DeepResearch（Video-DR）は、入力が画像や文書ではなく、時間的に連続する動画である場合に、マルチモーダル研究エージェントをどう設計すべきかを問う研究です。著者らは、動画理解には単なる長文コンテキストではなく、フレームをまたぐ密な時空間 grounding が必要だと主張しています。

主なポイント

• 視覚を先、検索を後に：感知と探索を分離し、段階的にツールを解放することで、まず動画を丁寧に確認してから外部検索に進ませます。
• モダリティ・バイアスへの対処：現行モデルは、視覚ツールを使える状況でも文字検索へ寄りがちです。Video-DR はその近道を構造的に抑えようとしています。
• パラメトリック知識リークの抑制：内部記憶だけで答えるのではなく、実際のツール駆動の実行を促します。
• 二段階学習：まず SFT で基本挙動を学び、その後 GRPO でより自律的なツール使用を獲得します。
• Video-DR-Bench を構築：200 件の複雑な多段階 VQA を含む、人間と AI の協働ベンチマークを用意しています。
• 報告された性能：Video-DeepResearch-35B-A3B は平均 64.0% を記録し、30B-A3B 版も 59.3% に達したとされています。

意義

この研究の面白さは、動画 QA を「答えられるか」ではなく、「本当に調査エージェントとして振る舞えるか」という観点に引き上げている点です。長尺動画、証拠追跡、多段推論が必要な場面では、この違いが非常に重要になります。

今後のマルチモーダルエージェントには、単純なモデル拡大だけでなく、行動を制約し、視覚確認を先行させる設計が求められるかもしれません。Video-DR はその方向性を具体的に示した一例です。

ソース

Hugging Face Daily Papers