NARU、日本語の超長時間動画における物語と文化理解を評価

長時間動画の理解は、特定の場面を検索するだけではありません。登場人物の関係や目的がどのように変化したのか、序盤の出来事が後半にどう影響したのか、そして直接説明されない発言や行動が社会的に何を意味するのかまで捉える必要があります。NARUは、こうした能力を日本語の超長時間動画で同時に評価するために設計されたベンチマークです。

主なポイント

• 長時間・多面的なデータ：155本、合計146.8時間の動画に対して1481問を用意しています。問題は4つの物語次元と5つの文化次元にまたがり、単一フレームの認識ではなく、動画の離れた箇所にある情報の統合を求めます。
• 階層型のアノテーション：生の動画をイベント、物語、文化の各レベルに整理し、その構造化情報をもとにタスク指向で問題を生成します。さらに、反復的なショートカット除去によって、字幕や目立つ映像だけから答えられる問題を減らそうとしています。
• 母語話者による確認：構築工程には2段階の日本語母語話者による検証が含まれ、68人のアノテーターが参加しました。これは、文化的解釈を含む問題の自然さと妥当性を確認するための重要な工程です。
• モデルの限界を可視化：8種類のモデル構成を評価した結果、長い時間範囲にわたる物語の統合と、文化的背景に基づく推論の両方で大きな課題が示されました。

意義と影響

従来の動画ベンチマークには、短いクリップや明示的な行動、局所的な質問応答に重点を置くものが少なくありません。このような評価では、モデルが映像や字幕を認識できるかは分かっても、長い物語の流れを理解しているか、間接的な表現や人間関係に含まれる社会的意味を読み取れるかまでは十分に測れません。NARUは、物語追跡と文化理解を同じ長時間動画の中で評価することで、より実際のメディア理解に近い課題を提示します。

また、コンテキストウィンドウを広げるだけでは、長時間動画を確実に理解できないことも示唆されます。モデルには、重要なイベントを選び、遠く離れた場面の関係を保持し、説明されていない意味を適切な文化知識と結び付ける能力が必要です。日本語に焦点を当てるNARUは、英語中心のデータでは見えにくいモデルの弱点を調べる手段にもなります。今後は、長時間動画モデルの診断、構造化メモリーの改善、より高文脈な多言語評価の設計に活用できるでしょう。

出典：Hugging Face Daily Papers