LOWN、必要なときだけ画像を見る拡散型VLMの推論最適化

背景

拡散型ビジョン・ランゲージモデル（DVLM）は、複数のデノイジングステップを通じてマスクされたテキストトークンを段階的に復元する。一般的な実装では、各ステップで入力画像全体を再び処理する。しかし画像は生成中に変化しないため、同じ視覚情報を何度も読み直すことになる。論文が調べたベンチマークでは、入力の89〜97%を視覚トークンが占めており、この繰り返しが推論コストの大部分につながる。

「Look Only When Needed」を意味するLOWNは、画像処理を常時実行するのではなく、現在の予測が画像情報を必要としているかどうかをステップごとに判断する。

仕組み

研究チームの観察では、画像を取り除いても、次にアンマスクされるトークンが変わらないステップが多い。LLaDA-Vでは、画像ありと画像なしの比較で、アンマスク対象のトークンが変化するのは平均22.8%のステップにとどまった。ベンチマークによっては、その割合は7.9%まで低下する。

LOWNの処理は次のように進む。

• まず、画像を処理せず、テキストコンテキストだけでマスクトークンを予測する。
• その予測を、直前に得た画像条件付き予測と比較する。
• 両者が一致すれば、以前の画像条件付き予測を再利用できる「認証済み」の結果として扱う。
• 不一致が起きた場合だけ画像を再処理し、予測を更新する。
• 認証されたトークンの数に応じて、そのステップでアンマスクするトークン数も決める。

これは視覚トークン剪定とは異なる。剪定は視覚情報の一部を削除するのに対し、LOWNは必要になれば完全な画像情報へ戻れる状態を保ったまま、不要な再計算だけを省く。また、画像への依存度はベンチマークごとに異なるため、一定間隔で画像を読む固定スケジュールよりも、LOWNの適応的な判断が適している。

結果と注意点

LOWNは追加学習を行わず、調整済みのしきい値にも依存しない。10個のベンチマークでLLaDA-Vのスコアの99.6%を維持し、デコードFLOPsは平均35.3%に削減された。生成時間は平均57.4%短縮されたという。さらに、LLaDAを基盤とする別のDVLMにも一般化し、視覚トークン剪定との併用も可能だと報告されている。

一方で、LOWNは視覚処理そのものを不要にする手法ではない。細かな画像情報を継続的に必要とするタスクでは予測の不一致が増え、削減効果が小さくなる可能性がある。提示された素材には、ハードウェア、バッチサイズ、画像解像度ごとの詳細な遅延分析は含まれていないため、実運用での効果はシステム構成によって確認する必要がある。

意義

LOWNのポイントは、どの視覚トークンを捨てるかではなく、いつ画像を再び参照するかを最適化したことにある。予測の一致を、過去のマルチモーダル計算を再利用するための軽量な証明として使うことで、専用のルータを学習せずに推論を節約できる。

同じ画像コンテキストを何度も参照する拡散型マルチモーダルモデルにとって、入力を常に同じ頻度で消費しないという考え方は重要だ。視覚情報を削除せず、需要に応じてアクセスする設計は、今後の推論サービング最適化における有力な方向性になり得る。

出典：Hugging Face Daily Papers