長時間動画の視覚トークンはどう配分すべきか

長時間動画を理解する際の問題は、モデルが映像を解釈できないことだけではない。そもそも関連する場面を見られないことが大きな制約になる。1時間の動画を1秒に1枚の割合でサンプリングすると、画像は3600枚に達する。しかし、コンテキスト長、視覚トークン数、推論コストには上限があるため、実際のシステムはその一部しか入力できない。そこで、限られた予算を少数の高精細フレームに使うのか、それとも解像度を下げてより多くの時点を見るのかが重要になる。

今回の研究は、この問題を複数の設計変更が混ざらないように検証した点に特徴がある。著者らはフレームのスコアリング方法、プロンプトの境界、解像度の方針、回答モデルを固定し、フレーム選択、空間圧縮、そして節約した予算の再投資を一つずつ変えた。6種類の学習不要な選択ルール、3つの長時間動画ベンチマーク、2つの回答モデルを使うことで、どの判断が精度に効くのかを比較している。

主な発見

• 最も大きな要因は、どのフレームを選ぶかである。 LongVideoBenchの1時間級の分割では、クエリに基づいて選んだ8フレームが、均一に配置した16フレームを6.9ポイント上回った。フレーム数を増やすだけでは不十分で、質問に関係する証拠を含むかどうかが重要だ。
• 古典的な手法でも競争力がある。 数十年前からある疎近似アルゴリズム、直交マッチング追跡（OMP）を変更せずに使っても、3つのベンチマークで比較対象の専用セレクターと同等、または1ポイント以内の差に収まった。
• フレームごとの空間圧縮による損失は小さい。 タイムスタンプを変えずに各フレームの空間トークン予算を半分にしても、報告された精度低下は最大0.44ポイントだった。限られたコンテキストをすべて高解像度に割り当てる必要はない。
• 本当の効果は、節約分を使い直すことで生まれる。 圧縮して予算を残すだけでは効果は限定的だが、節約したトークンでフレーム数を2倍にすると、元と近い総予算でさらに2〜3ポイント向上した。圧縮の目的は節約そのものではなく、時間方向の観測範囲を広げることにある。

意義と限界

この結果は、長時間動画推論を「画像1枚の品質を最大化する問題」ではなく、「視覚トークンでどれだけ証拠をカバーできるか」という予算配分問題として捉えるべきだと示している。実装上は、まず質問に関連する時点を選び、次に各フレームの空間情報を適度に圧縮し、最後に余った予算を新しい時点の追加に回す、という順序が合理的だろう。

同時に、選択手法の比較には慎重さが必要だ。研究では、著者ら自身のAKSベースラインに実装上のバグがあったこと、さらに2つの回答モデルの間に0.07〜3.74ポイントの差が生じたことも報告されている。新しい手法の名称や複雑さだけでなく、条件を揃えたアブレーション、実装の検証、複数モデルでの再現性が評価の信頼性を左右する。

なお、結論は対象となったベンチマーク、モデル、予算設定の範囲で理解すべきであり、すべての動画タスクに同じ圧縮率が適用できるとは限らない。それでも、トークンが不足する環境では、冗長な空間詳細を減らし、関連する時間情報を増やすという設計原則は明確だ。

出典：Hugging Face Daily Papers