マルチモーダル視覚エンコーディングを分解する：事前学習より専用容量が重要

導入

マルチモーダル言語モデルが画像をどのように処理すべきかについて、まだ決着はついていない。一般的な構成では、まず独立した視覚エンコーダーを事前学習し、その出力を言語モデルへ渡す。近年は、視覚部分を言語モデルと同時にゼロから学習する方式や、独立したエンコーダーを完全に取り除く方式も提案されている。

しかし、既存モデルを単純に比較しても、データ、アーキテクチャ、モデル規模、計算予算が同時に異なるため、性能差の原因を特定しにくい。研究「Unbundling Multimodal Vision Encoding」は、視覚エンコーダーにまとめて扱われがちな要素を三つに分けて検証した。それは、上流の事前学習から得られる視覚的な先行知識、視覚専用に割り当てる容量、そしてその容量をマルチモーダル融合の前に置くかどうかである。

何を比較したのか

研究者は共通データでモデルをゼロから事前学習し、生涯計算量をそろえて比較した。評価には視覚質問応答と一般的な言語ベンチマークを用い、主幹モデルの規模を変えた場合、視覚エンコーダーの事前学習を無料とみなす場合、さらに事前学習済み言語モデルを出発点にする場合も検討した。

主な結果は次の通りだ。

• 視覚エンコーダーの事前学習は必須ではない。 言語モデルと共同でゼロから学習したエンコーダーは、事前学習済みエンコーダーと同等の性能に達した。独立した視覚事前学習の段階が必ずしも必要ではないことを示している。
• 専用の視覚容量は重要である。 エンコーダーを削除し、そのパラメータ数を主幹モデルへ追加しても、視覚理解は低下した。差は特に OCR やチャート理解で大きく、他の VQA 分類でも残った。学習量を増やすと差はやや縮まるものの、完全には消えない。
• 視覚容量は融合前に置く必要がない。 視覚だけを処理するモジュールを主幹の初期層に組み込む方式は、従来の前置きエンコーダーと同程度の性能を示した。また、初回トークンが出るまでの時間を短縮できる可能性もある。

意義と影響

この結果は、「まず視覚エンコーダーで画像を処理し、その後に言語モデルへ接続する」という設計を相対化する。重要なのは、視覚入力を扱うための専用能力を確保することであり、それを必ずしも独立した事前学習段階や融合前のブロックとして実装する必要はない。

モデル開発者にとっては、設計の選択肢が広がる。共同学習なら、独立した視覚事前学習を省いて開発工程を簡略化できる。初期層への組み込みなら、専用の視覚計算を維持しつつ推論開始時の遅延を抑えられる可能性がある。

ただし、視覚専用構造をなくしても問題ないという結論ではない。画像中の文字やチャートのような細粒度の課題では、汎用的な言語主幹を大きくするだけでは代替しきれない。研究の総括は、事前学習済みエンコーダーを否定することではなく、視覚的な先行知識よりも専用容量と配置が性能を左右しうる、という点にある。

出典：Hugging Face Daily Papers