DeltaStreamer、映像を継続観察し必要な場面を再確認する動画エージェント

概要

ストリーミング映像の理解では、モデルは将来どのような質問を受けるかを知らないまま映像を見続ける必要がある。人物の行動、画面上の物体、短い場面転換など、質問に必要な情報が数フレームだけ現れることもある。映像を大まかな文章に圧縮するだけでは、後から必要になる視覚的な証拠が失われる可能性がある。

DeltaStreamerは、この問題を「観察」と「回答」を分けることで扱うエージェントフレームワークだ。入力中は変化を含む記憶を作り、質問が来た後に必要な箇所を調査する。記憶だけで判断できない場合は、元の映像へ戻って確認できる点が特徴となる。

主な仕組み

• 状態ではなく変化も記録する：連続してサンプリングしたフレームを比較し、現在のシーンの説明に加えて、人物や物体、出来事がどのように変わったかを記録する。これにより、単一の静止画のような要約ではなく、出来事の展開を残すことを目指す。
• 元フレームにつながる構造化メモリ：観察内容をテキスト形式で整理し、対応する映像フレームへの参照を持たせる。メモリは最終回答の根拠であると同時に、再確認のための索引として機能する。
• 質問から調査計画を作る：質問が届くと、クエリ駆動のプランナーが必要な証拠を特定し、関連するメモリを検索する。保存された説明だけでは精度が足りない場合、追加の確認へ進む。
• 必要な場面だけ再生する：観察時に省略された細部を、過去フレームのターゲット再生によって補う。最初からすべての情報を文章として保持するのではなく、必要になった時点で視覚情報を取り戻す設計だ。

評価と意義

論文はOVO-BenchとStreamingBenchで評価を行い、総合スコアとしてそれぞれ66.07%と59.53%を報告している。また、複数の代表的なストリーミング映像理解手法を上回ったとしている。重要なのは、単なる要約精度だけでなく、継続的な観察と質問後の能動的な調査を一つの流れに結び付けた点だ。

この考え方は、長時間動画やライブ配信、対話型の動画アシスタントと相性がよい。プロジェクトページでは、オープンソースのコードとローカルで動かせるデモも公開されている。さらに、DeltaStreamerを基盤に、映像・音声・チャットを組み合わせるライブ配信向けアプリケーションAI-Tongdanも紹介されている。

一方、提供された資料だけでは、遅延、保存容量、再生コスト、各構成要素の詳細な消融結果までは確認できない。そのため、実運用上のトレードオフを判断するには追加評価が必要だろう。それでもDeltaStreamerは、動画エージェントの焦点を「見た内容をすべて覚える」ことから、「何を記憶し、いつ過去を見直し、どの証拠で回答を支えるか」へ広げる提案だと言える。

出典：Hugging Face Daily Papers