OmniScope：音声と映像の重要度を分けて圧縮する OmniLLM 推論手法

導入

全モーダル大規模言語モデルは、テキストだけでなく映像や音声も同時に理解する方向へ進んでいます。しかし、音声・映像入力は大量の Token を生みやすく、推論時の prefill が遅くなり、GPU メモリの消費も増えます。そのため、必要な情報を残しながら Token を減らす技術は、実運用において重要なテーマです。

OmniScope が指摘するのは、既存の Token 圧縮手法に潜む前提です。多くの手法では、あるモダリティを使って別のモダリティの重要部分を判断します。たとえば映像を手がかりに音声を削る、あるいは音声を手がかりに映像 Token を選ぶ、といった設計です。

主要ポイント

• 音声と映像の重要な瞬間は一致しないことがある：同じ質問に対して、答えに関係する音声のピークと映像のピークが異なる時間に現れる場合があります。このずれにより、一方向のガイダンスでは重要な Token を消してしまう可能性があります。
• クエリは共有し、重要度推定は分離する：OmniScope はユーザーのクエリを共通の意味的アンカーとして使いますが、音声と映像の関連度は別々に推定します。
• モダリティ別に Token 予算を割り当てる：すべての Token をまとめて削るのではなく、音声と映像にそれぞれの保持予算を設定します。
• 映像は anchor-delta 戦略で圧縮：視覚 Token については、全体文脈と時間変化の両方を残すように設計されています。
• 音声は秒単位で冗長性を削減：音声 Token は各秒の内部で結合し、重複を減らしながら時間的な連続性を保ちます。

意義と影響

論文によると、OmniScope は 4 つの音声・映像ベンチマークと 2 種類の Qwen2.5-Omni モデル規模で評価され、各圧縮設定において平均精度で最良の結果を示しました。全体の Token 保持率が 25% の場合、最大 3.53 倍の prefill 高速化と 15% 超の GPU メモリ削減を達成し、平均精度の低下は 0.35 ポイントにとどまったとされています。

この研究の示唆は明快です。全モーダル推論では、モダリティ同士を同じ質問に結びつけることは有効でも、重要度まで同一視すべきではありません。音声と映像は時間的には同期していても、回答に必要な情報が現れるタイミングはずれることがあります。

さらに、OmniScope は学習不要であるため、再学習コストをかけずに推論効率を改善できる可能性があります。長時間の音声・映像理解や、GPU メモリに制約のあるデプロイ環境では特に有用な方向性です。ただし、ここで確認できる情報は主に要約に基づくため、詳細な挙動やタスク別の強弱は論文本文とコードで検証する必要があります。

出典：Hugging Face Daily Papers