Open-o3-Video-v2、能動的な証拠探索で検証可能な動画推論へ

導入

動画推論の信頼性は、正しい答えを出せるかだけで決まりません。その答えが、動画のどの場面や対象物によって支えられているのかを確認できることも重要です。一般的な動画処理では、まず少数のフレームを固定的にサンプリングし、その入力をもとにモデルが回答します。しかし、重要な動作がサンプリングの間に起きていれば、モデルは必要な証拠を見られないまま判断することになります。

北京大学のチームが発表した Open-o3-Video-v2 は、この問題を能動的な証拠取得の課題として捉え直します。モデルは情報の不足を判断し、追加の観察を取得し、根拠となる時刻と対象を特定したうえで推論を続けます。コードとモデルも公開されています。

主なポイント

• 固定サンプリングから能動的な観察へ。 初期入力だけで十分かを確認し、不足する手掛かりがあれば追加の動画情報を取得します。
• 根拠を推論軌跡に記録。 タイムスタンプは出来事が起きた時刻を示し、対象レベルのバウンディングボックスは判断を支える物体や領域を示します。
• 多ターンの訓練データを構築。 STGR-v2-CoT135K には 5.2 万件の多ターン・エージェント型 grounded reasoning 軌跡が含まれ、STGR-v2-RL-13K は強化学習に用いられます。
• 検索の質を報酬に反映。 Clue-Seek GRPO は、ツール呼び出しによって累積証拠がどう変化したかを追跡します。手掛かりの網羅性や各ステップの情報増加を評価する一方、過剰で反復的、または情報量の少ない取得を抑えます。
• 複数の動画課題で改善。 V-STaR では Open-o3-Video-v2-4B が mAM 40.4%、mLGM 56.3% を達成し、Qwen3-VL-4B のバックボーンをそれぞれ 8.5、12.6 ポイント上回りました。一般動画理解、長時間動画推論、時間的 grounding でも継続的な改善が報告されています。

意義と影響

この研究の中心的な考え方は、「不足を見つける、証拠を取りに行く、対象を定位する、推論を続ける」という循環です。モデルは用意されたフレームを一度解釈するだけでなく、次に何を確認すべきかを現在の推論状態から決めます。長時間動画や細かな動作、複数の時点を比較する質問に適した設計です。

根拠の可視化も重要です。タイムスタンプは「いつ」を示し、バウンディングボックスは「何が」根拠なのかを示します。これにより、言語的な先入観だけで自然な回答を生成していないかを確認しやすくなります。一方で、追加検索にはツール呼び出しと推論コストが伴います。取得回数を増やすだけでなく、各観察が証拠の質を本当に高めたかを評価する必要があります。

Open-o3-Video-v2 は、能動的な証拠取得と対象レベルの時空間 grounding が相互補完的であることを示します。ベンチマークの数値に加えて、検証可能な証拠を形成・保存・利用する動画エージェントの訓練方法を提示した点に意義があります。

出典：Hugging Face Daily Papers