TimeLens2：動画MLLMに「根拠がいつ起きたか」を示させる

導入

近年の動画マルチモーダル大規模言語モデルは、動画内で何が起きているかを説明できるようになってきました。しかし、答えの根拠が動画のどの時間帯に現れているのかを正確に示す能力は、まだ十分とは言えません。TimeLens2 はこの問題に焦点を当て、モデルが回答だけでなく、その回答を支える1つまたは複数の時間区間を出力できるようにします。

Hugging Face Daily Papers に掲載された論文「TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs」は、短い動画から長い動画まで、さまざまな領域、質問形式、一人称・三人称視点をまたぐ汎用的な時間的グラウンディングを扱っています。

主要ポイント

• 時間的根拠を区間集合として扱う：実際の動画では、証拠となる場面が1つの連続区間に収まるとは限りません。同じ出来事や手掛かりが複数回現れる場合もあるため、TimeLens2 は出力を可変数の時間区間集合として定式化します。
• TimeLens2-93K の構築：研究チームは、23,793本の多様な動画から 93,232件の検証済みグラウンディング事例を構築しました。手順には、キャプション由来の候補生成、独立したローカライゼーション、エージェント間の合意、意味的検証、境界調整が含まれます。
• temporal Wasserstein reward：従来の強化学習報酬は、予測区間と正解区間が重ならない場合や、区間数が異なる場合に扱いが難しくなります。TimeLens2 は、統合された区間支持上で一次元 Wasserstein 距離を計算し、明示的な区間マッチングなしに密なフィードバックを与えます。
• temporal IoU との補完関係：Wasserstein 報酬は全体的な時間分布や非重複ケースに強く、temporal IoU は正確な重なりを評価します。この組み合わせにより、複数区間の時系列根拠により適した最適化が可能になります。

意義と影響

TimeLens2 の意義は、動画 MLLM を単なる説明モデルから、根拠を追跡できるモデルへ近づける点にあります。長時間動画検索、コンテンツ確認、教育動画の該当箇所抽出、スポーツ分析、一人称動画理解などでは、ユーザーは正しい答えだけでなく、それを確認できる秒数や区間を必要とします。

報告によれば、TimeLens2-2B は7つのベンチマークすべてで同規模ベースラインを上回り、4Bおよび8Bモデルは最先端の性能を達成しています。また、各 Qwen3-VL バックボーンに対して、2B、4B、8B 版はそれぞれ 14.2、13.0、18.1 mIoU ポイント改善しています。さらに TimeLens2-4B は、すべてのベンチマークで Qwen3.5-397B-A17B を平均 7.5 mIoU ポイント上回ったとされています。

より大きなポイントは、時間的グラウンディングを単一区間の回帰ではなく、集合予測と集合を意識した最適化として扱ったことです。これは現実の動画における証拠の現れ方に近く、今後の検証可能な動画AIの設計にも影響を与える可能性があります。

出典：Hugging Face Daily Papers