VisionScreen：視覚認識に「スクリーニング」を導入する新しい ViT 代替案

導入

Vision Transformer（ViT）は、画像をパッチに分割し、それらの間の大域的な依存関係を自己注意で扱うことで、視覚認識における重要な基盤となってきた。一方で、自己注意には見落としがちな性質がある。softmax によって全パッチへ相対的な重みを割り当てるため、関連性が低いパッチも完全には排除されず、特徴集約に参加し続ける。

arXiv 論文「Screening Is Effective for Visual Recognition」は、この問題に対して別の設計を提案する。著者らの VisionScreen は、言語モデリングで提案された Screening 機構を視覚認識へ拡張し、各パッチが本当に関連するパッチだけを選んで集約できるようにする。

主要ポイント

• 自己注意は相対的な重み付けに依存する。 ViT の self-attention は、すべてのパッチ間で softmax 正規化された重みを計算する。そのため、あるパッチが独立に関連しているかどうかを評価しにくい。
• 画像には背景や冗長領域が多い。 視覚認識では、対象物と関係の薄い背景、繰り返し模様、情報量の少ない領域がしばしば含まれる。従来の注意機構はそれらを弱く重み付けできるが、明示的には拒否しない。
• Screening は絶対的な関連性を見る。 query-key 類似度に基づいて token の関連性を評価し、しきい値を下回る token を除外するという考え方が中心にある。
• VisionScreen は二次元構造に対応する。 画像パッチはテキストのような一次元列ではなく、二次元グリッド上に配置される。VisionScreen はこの空間構造を考慮して関連性推定を拡張する。
• 分類ベンチマークで改善を報告。 要旨によれば、画像分類ベンチマークにおいて従来の ViT を上回る結果が得られた。

意義と影響

この研究の面白さは、注意機構を「すべてを見るが重みを変える」仕組みとしてではなく、「見るべきでないものを取り除く」仕組みとして再設計している点にある。特に、背景や冗長なパッチが多い画像では、不要な情報を集約から外すことが表現の質を高める可能性がある。

ただし、論文は探索的研究として提示されており、要旨だけでは計算コスト、より広いタスクでの有効性、スケール時の挙動までは分からない。したがって VisionScreen は、現時点では ViT を置き換える完成形というより、視覚 Transformer の次の設計方向を示す提案と見るべきだろう。

それでも、視覚モデルの改善が単に「より強い注意」だけでなく、「不要な情報をどう拒否するか」に向かう可能性を示した点で、注目に値する研究である。

出典：arXiv