ShallowStream：浅い層で索引を作り、深い層で動画を理解する

導入

連続する動画をマルチモーダル大規模言語モデルに見せ続けるには、認識精度だけでなく、長時間動作できる計算効率が必要です。自動運転、ロボット、産業監視、監視カメラ、早期警戒、ウェアラブルアシスタントなどでは、新しいフレームが次々に到着します。各フレームに対してモデル全層のプリフィルを繰り返すと、計算量が膨らみ、KV cacheもプリフィルの深さに応じて増えていきます。

発想：浅く処理し、必要な時だけ深く考える

これまでのストリーミング動画研究では、視覚トークンの剪定、トークン統合、量子化、必要時のフレーム検索、コンテキストのオフロードなどが検討されてきました。ShallowStreamが注目するのは、もう一つの軸である「モデルの深さ」です。

仕組みは次のように整理できます。

• ストリーム処理では浅い層を使う。 到着したフレームを浅い層で初期的に符号化し、検索に利用できる表現を作ります。
• 軽量な索引を常時維持する。 全動画を質問のたびに最初から処理する代わりに、浅い層のKV cacheを使って履歴を管理します。
• 質問時に関連度を推定する。 浅い層が生成した注意スコアを使い、現在の質問と各フレームの関係を評価します。
• 多様な証拠を選ぶ。 スコア上位だけを並べるのではなく、多様性を考慮して、似たフレームばかりがコンテキストを占有することを避けます。

重要なのは、深い層を完全に捨てることではありません。常時行う処理を浅い層に限定し、回答に必要な候補が絞られた段階で深い層を使う点にあります。つまり、連続的な知覚とインデックス作成には軽い計算を、詳細な回答には集中的な計算を割り当てます。

結果と意味

論文によれば、ShallowStreamは既存の強力なストリーミング手法と同程度の性能を保ちながら、フレームごとのプリフィル遅延を最大52.1倍、10秒間のエンドツーエンド遅延を最大11.9倍削減しました。全層を繰り返し使わないため、長時間の動画処理で生じる計算負荷とKV cacheの増大を抑えられる可能性もあります。

この研究の意義は、ストリーミング推論を深さの観点から再設計したことです。浅い層を継続的な符号化・圧縮・候補発見に使い、深い層を選択的な回答に回す考え方は、クエリの頻度が一定でない視覚システムに適しています。

ただし、提示された素材だけでは、詳細なベンチマーク条件、モデル構成、場面ごとの誤り分析は確認できません。汎用性を判断するには原論文の実験結果をさらに読む必要があります。それでも、トークン数を減らすだけでなく、処理段階に応じてモデル深度を切り替える方向を示した点は注目に値します。

出典：Hugging Face Daily Papers