VisCo：VLM 自身を使って視覚 Token を圧縮する新手法

導入

視覚言語モデル（VLM）は、画像理解、視覚質問応答、マルチモーダル推論で大きな成果を上げています。一方で、画像を多数の視覚 Token として扱うため、推論時の遅延やメモリ消費が大きくなりやすいという課題があります。Token 数が増えれば、注意機構の計算量も増え、実運用でのコストに直結します。

Hugging Face Daily Papers に掲載された “VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression” は、この問題に対して興味深い発想を提示しています。外部の圧縮器を別途設計するのではなく、事前学習済みの VLM 自身を圧縮器として活用するというものです。

主要ポイント

• 視覚 Token の多さがボトルネックになる
  VLM は画像を細かな視覚表現として保持するため、多数の Token を言語モデル側へ渡します。これは画像の詳細を保つうえで有効ですが、推論速度とメモリ使用量の面では不利です。高解像度画像、複数画像入力、長いマルチモーダル文脈では特に影響が大きくなります。

• 既存手法にはそれぞれ限界がある
  学習不要の圧縮手法は導入しやすい一方、ヒューリスティックな指標で Token を選別することが多く、高い圧縮率では性能低下が起きやすいとされています。学習型手法は柔軟ですが、外部圧縮モジュールを追加する場合、VLM の本体をそのモジュールに適応させる必要があり、再学習コストや事前学習済みの知識への影響が問題になります。

• VisCo はモデル内部の符号化能力に注目する
  論文の主張は、効果的な圧縮には単なる Token 削減ではなく、情報を強く符号化する能力が必要だという点にあります。事前学習済み VLM はすでに豊かな表現能力を持っているため、VisCo はそれを内在的なエンコーダとして再利用します。

• memory tokens に画像情報を集約
  VisCo は、パラメータを共有するオートエンコーダ型の自己圧縮フレームワークです。エンコード段階では、視覚情報を少数の memory tokens に圧縮します。デコード段階では、エンコード側から階層的な情報を受け渡すことで、圧縮による意味情報の損失を抑えようとします。

• 高圧縮率での安定性を強調
  要約によれば、VisCo は評価されたすべての圧縮率で従来手法を上回り、圧縮が強くなるほど改善幅が大きいとされています。また、単一 Token という極端な設定でも安定して動作したと報告されています。さらに、学習された memory tokens を元の視覚 Token と組み合わせるとベースモデルの性能改善にもつながる可能性があり、単なる情報削減以上の補完的表現を捉えていることが示唆されます。

意義と影響

VisCo の意義は、視覚 Token 圧縮を「外側から削る」処理ではなく、「モデル自身による再符号化」として捉え直した点にあります。この方向性が他の VLM やタスクでも有効であれば、マルチモーダル AI の推論コスト削減に向けた実用的な選択肢になり得ます。

開発者にとっては、Token 数削減による低遅延化やメモリ節約が期待できます。特に、複数画像を扱うアプリケーションや、計算資源が限られた環境では重要です。ただし、素材には具体的なベンチマーク表、実測コスト、導入時の詳細までは含まれていません。実用性を判断するには、論文本文と公開コードを確認する必要があります。ページ上では GitHub リポジトリが案内されており、著者コメントでは ACM MM 2026 に採択されたとされています。

出典：Hugging Face Daily Papers