FramePack-Uが長時間動画を固定メモリで理解する仕組み

導入

視覚言語モデルに数十分から数時間の動画を入力する場合、問題は単に多くのフレームを見せられるかどうかではありません。各フレームを視覚トークンへ変換して連結する一般的な構成では、動画が長くなるほど入力系列が伸び、メモリ使用量と推論遅延も増えます。ストリーミング映像や映画のような長尺コンテンツでは、この増加が実用上の大きな制約になります。

ノースカロライナ大学チャペルヒル校の研究者が提案するFramePack-Uは、この課題を固定サイズの表現へ変換する手法です。単にトークン数を減らすのではなく、動画の長さにかかわらず、あらかじめ定めた視覚トークン予算内へフレームをパッキングします。追加のファインチューニングやVLMの構造変更を必要とせず、推論時の前処理として組み込める点が特徴です。

仕組みの要点

• 質問に基づくフレーム評価。 各フレームとテキストプロンプトの意味的な近さを計算し、質問に関係する可能性が高い場面を優先します。動画全体へ均等に予算を配るのではなく、タスクに必要な情報へ容量を集中させます。
• 多様性を考慮した順位付け。 類似度だけを使うと、ほぼ同じ画面が多数選ばれる可能性があります。そこで、内容が重複しないフレームも選び、異なる場面や状態をカバーすることを目指します。
• 複数の解像度でパッキング。 すべてのフレームを同じ解像度で扱うのではなく、重要度の高いフレームにはより多くの表現容量を与え、他のフレームは小さく表現します。細部の保持と時間的な広がりを固定予算の中で調整する設計です。
• 動画の長さに依存しない予算。 最終的な視覚コンテキストの大きさは一定です。そのため、元動画のフレーム数が増えても、VLMへ渡す表現と基本的なメモリ枠がそのまま膨張することを防げます。

意義と課題

FramePack-Uの重要性は、より大きなモデルを作ることではなく、限られた視覚予算の配分方法を見直した点にあります。キーフレーム抽出やトークン削減は入力を短くできますが、動画の長さに応じた増加を完全には解消しません。FramePack-Uは、どのフレームを残すか、各フレームにどれだけの詳細を割り当てるかを固定予算問題として扱います。

長時間動画の質問応答、配信映像の分析、映画規模のコンテンツ検索などで活用できる可能性があります。素材によれば、LongVideoBench、MLVU、Video-MMEで評価が行われ、複数のモデル系統やフレーム予算において、フル解像度の基準手法や既存の削減・選択手法を上回ったとされています。

一方、固定サイズ表現は情報を完全には保存しません。一瞬だけ現れる動作、小さな文字、正確な前後関係などは選択段階で失われる可能性があります。また、テキストに基づく選別は質問の書き方にも左右されます。したがって本手法は、密な時系列符号化を全面的に置き換えるものというより、長時間動画推論を現実的にする入力最適化と捉えるのが適切です。

出典：Hugging Face Daily Papers