LatentStream、ストリーミング映像の記憶を検索から内在化へ

導入

連続的に入力される映像を理解することは、1枚の画像や編集済みの短い動画を分析することとは異なる。マルチモーダル大規模言語モデルは、まだ現れていない未来の情報を使わずに推論しながら、後の質問に必要な過去の出来事も保持しなければならない。数分前に登場した人物や物体、あるいは場面の変化が、後からの回答を左右することもある。

一般的な方法では、過去の観測を外部メモリーバンクへ圧縮し、質問が来た時点で関連する映像情報を検索して追加コンテキストとして与える。この方法は入力長の問題を緩和する一方、過去の証拠をモデル内部の作業状態に組み込むものではない。そのため、推論のたびに外部の履歴を探して読み直す必要がある。

LatentStreamの仕組み

論文が提案するLatentStreamは、映像メモリーを「保存して検索する」方式から「検索して内在化する」方式へ移そうとする。単に保存容量を増やすのではなく、検索された証拠を、後続の推論を支える固定長の潜在ワーキングメモリへ変換する点が特徴だ。

• 履歴を階層化する。 Query-agnostic Hierarchical Streaming Memoryは、固定された予算の中で映像履歴を短期・中期・長期のレベルに整理する。Jenksに基づく適応的な統合により、異なる時間スケールの情報を一律ではなく、分布に応じてまとめる。
• 記憶の視野を段階的に広げる。 質問が入力されると、Hierarchical Latent Memory Evolutionは潜在メモリートークンのグループに、徐々に広がる受容範囲を与える。各グループは担当範囲から証拠を検索し、それを固定長の潜在状態へ取り込んだ後、より広い履歴へアクセスする。
• 信頼度を最適化に利用する。 Progressive Confidence-guided Latent Memory Optimizationは、グループごとの予測エントロピーから階層的な進展報酬を作り、潜在メモリーを共同で調整する。内容の取得だけでなく、記憶がどれだけ確かな状態へ進んだかも考慮する設計だ。

意義と残された課題

この研究では、メモリーを単なる検索用アーカイブではなく、推論に直接参加する進化的な作業状態として捉えている。固定長の潜在表現を使えば、長時間映像で視覚コンテキストを何度も移動させる負担を抑え、オンラインとオフラインの映像理解に共通する記憶機構を構築できる可能性がある。

一方、提供された素材にはベンチマークの具体的な数値、データセット別の比較、アブレーションの詳細が含まれていない。そのため、報告される性能向上がどの要素によるものかは、論文本文を確認する必要がある。また、圧縮で重要な細部が失われないか、初期の誤りが潜在記憶に固定されないか、質問によって内在化の結果が不整合にならないかも検証すべきだろう。

それでも、検索可能な過去を保存するだけでなく、継続的に使える内部記憶を形成するという方向性は、ストリーミング映像理解における重要な設計転換を示している。

出典：Hugging Face Daily Papers