VideoMemBenchが問う、動画モデルは本当に覚えているのか

導入

マルチモーダル大規模言語モデルは、現在では1時間級の動画も処理できます。しかし、長い動画を入力できることと、対話の中で必要な情報を覚えて使い続けられることは同じではありません。実際の利用では、ユーザーが最初にある場面を尋ね、その後で別の出来事との関係を質問することがあります。また、モデルの以前の判断を前提に、さらに詳しい説明を求める場合もあります。

VideoMemBenchは、こうした能力を「in-context video memory」として評価するためのベンチマークです。モデルが動画から見た情報だけでなく、過去のターンで自分が述べた内容も再利用できるかを調べます。

主な特徴

• 独立QAから連続対話へ。 従来の動画QAでは、各質問が互いに独立し、動画だけで回答できることが多く、前のターンを保持する必要がありませんでした。VideoMemBenchでは、後続の質問が過去の対話に依存するよう設計されています。
• 二つの依存関係。 「エピソード依存」は、以前に説明した映像上の出来事を思い出せるかを測ります。「回答依存」は、モデル自身の過去の回答を前提に推論できるかを測ります。
• 表面的な手掛かりを抑制。 依存関係には、過去のターンがなければ答えられないという必要性と、後続質問が答えをそのまま言い換えていないという非漏えい性が求められます。構築ではプランナー、ジェネレーター、ジャッジという三つのLLM役割を使い、最後に人間の専門家が確認しています。
• 長距離の参照にも対応。 複数の過去ターンに依存する例や、離れたターンを呼び戻す例を含み、単純な連続質問より厳しい評価になっています。

結果と意味

VideoMemBenchは326本の動画、2476ターンの対話からなり、そのうち1387ターンが過去のターンに依存します。20以上のオープンソースおよびクローズドソースのマルチモーダルモデルを評価した結果、Claude Opus 5が最も高い性能を示しました。ただし、総合スコアは45.7%にとどまっています。これは、長い動画を処理できても、対話をまたいで記憶を安定して維持することは別の難題であることを示します。

課題は単にコンテキスト窓を広げることではありません。モデルは、過去の情報のうち何が重要かを判断し、正しい映像エピソードを取り出し、自分の以前の発言と動画中の証拠を区別しなければなりません。したがって、より長い入力だけでなく、履歴検索や状態管理、回答の一貫性を支える仕組みも必要になります。

このベンチマークは、動画理解と会話記憶を同時に評価する枠組みを提供します。動画アシスタント、長時間動作するエージェント、会議分析、教育支援などのシステムを比較するうえでも有用です。今後の動画アシスタントに必要なのは、画面上の事実だけでなく、対話の中ですでに確認された内容を覚える能力でしょう。

出典：Hugging Face Daily Papers