VideoJev：動画理解を再利用可能な意思決定インターフェースへ

導入

動画を扱うエージェントに必要なのは、単に映像を説明する能力だけではない。イベントがいつ起きたかを特定し、質問に答え、進行状況を確認しながら、次に何を調べるかを決める必要がある。一般的なマルチモーダル大規模言語モデルは、こうした処理を自己回帰的なテキスト生成で行うことが多い。しかし同じ動画に対して質問を繰り返す場合、視覚情報の計算を何度も行うことになり、コストが増えやすい。VideoJevは、動画理解を構造化された意思決定として捉え直す。

仕組み

VideoJevは、事前学習済みのマルチモーダル大規模言語モデルを改良したモデル群である。回答をトークン単位で生成する代わりに、動画中の証拠と候補を比較する共有ヘッドを導入する。

時間的グラウンディングでは、複数の時間区間をスコアリングし、指定されたイベントに対応する区間を選ぶ。選択式の動画QAでは、テキストで与えられた選択肢を比較し、動画内容に最も合う答えを決定する。つまり「イベントはいつか」と「どの選択肢が正しいか」という異なる課題を、候補と視覚証拠の適合度を評価する一つの形式にまとめている。

さらに、動画を見ながら質問が追加される状況にも対応する。Cached inferenceは、すでに計算した視覚情報を保持し、後続の質問で再利用する。Joint inferenceは、複数の質問を一つのフォワードパスで処理する仕組みで、まとめて確認したい場合や、複数の判断候補を並列に評価したい場合に適している。

実験結果

論文ではVideoJev-4BとVideoJev-35B-A3Bが示されている。三つの時間定位ベンチマークにおいて、対応するQwenバックボーンに対する平均mIoUの向上幅は、それぞれ6.7ポイントと10.8ポイントだった。モデルのフォワード処理は約2.8〜3.1倍高速化された。また四つの動画QAベンチマークでは、両モデルが対応するQwen Thinkingモデルと同程度の性能を示し、フォワード処理の高速化は100倍を超えたと報告されている。

ただし、これらはモデルのフォワード処理に関する測定値であり、動画のデコード、前処理、スケジューリング、後段のアクションを含むエンドツーエンドの遅延と同一ではない。それでも、回答候補が構造化されている課題では、直接スコアリングが繰り返しの文章生成より効率的になり得ることを示している。

意義

実際の動画エージェントは、同じ視覚履歴を何度も参照し、途中結果に応じて新しい質問を行う。VideoJevのキャッシュとジョイント推論は、このようなワークフローに合わせて視覚計算を再利用する。また、時間区間や選択肢のスコアは、計画器や外部ツールが扱いやすい構造化出力でもある。

現時点の評価は主に時間定位と選択式QAに焦点を当てており、自由形式の動画生成を置き換えられるかどうかは別途検証が必要だ。それでもVideoJevは、動画モデルに必要な推論をすべて長文生成へ変換するのではなく、組み合わせ可能な判断結果として返すという、System Oneの実装例を示している。

出典：Hugging Face Daily Papers