VisionScreen: 시각 인식에 ‘선별’ 메커니즘을 적용한 새로운 접근

도입

Vision Transformer(ViT)는 이미지를 패치 단위로 나누고, self-attention을 통해 패치 간 전역 의존성을 모델링하는 강력한 시각 인식 프레임워크로 자리 잡았다. 하지만 핵심 구성요소인 self-attention에는 구조적 한계도 있다. 일반적으로 softmax 정규화를 통해 모든 패치에 상대적 가중치를 부여하기 때문에, 관련성이 낮은 패치도 완전히 제외되지 않고 특징 집계에 참여한다.

arXiv 논문 “Screening Is Effective for Visual Recognition”은 이 문제를 다른 방식으로 다룬다. 저자들은 언어 모델링 분야에서 제안된 Screening 메커니즘을 시각 인식에 확장한 VisionScreen을 제안한다. 핵심은 모든 패치를 조금씩 반영하는 것이 아니라, 각 패치가 실제로 관련 있는 패치만 선택적으로 집계하도록 만드는 것이다.

핵심 요점

• 기존 self-attention은 상대적 비교에 기반한다. ViT는 query와 key의 관계를 계산한 뒤 softmax로 전체 패치에 대한 분포를 만든다. 이 방식은 각 패치의 독립적인 관련성을 판단하기 어렵게 만든다.
• 이미지에는 불필요한 패치가 많다. 배경, 반복적인 질감, 중복 영역처럼 인식에 큰 도움이 되지 않는 패치가 흔하다. 기존 attention은 이를 낮은 가중치로 처리할 수는 있지만, 명시적으로 거부하지는 않는다.
• Screening은 절대적 관련성 평가를 도입한다. query-key 유사도를 바탕으로 토큰의 관련성을 평가하고, 임계값보다 낮은 토큰은 제외하는 방식이다.
• VisionScreen은 2차원 공간 구조를 반영한다. 이미지 패치는 텍스트처럼 단순한 1차원 순서가 아니라 2차원 격자에 놓여 있다. VisionScreen은 이 공간적 특성을 고려해 관련성 추정을 확장한다.
• 이미지 분류에서 개선을 보고했다. 논문 초록에 따르면 VisionScreen은 이미지 분류 벤치마크에서 기존 ViT보다 우수한 성능을 보였다.

의미와 영향

이 연구의 중요한 지점은 attention을 단순히 “모든 것을 보되 가중치를 조절하는 방식”으로 보지 않고, “볼 필요가 없는 것을 제외하는 방식”으로 재해석했다는 데 있다. 특히 배경이나 중복 정보가 많은 시각 인식에서는 불필요한 패치를 명확히 걸러내는 과정이 더 깨끗한 표현을 만드는 데 도움이 될 수 있다.

물론 논문은 탐색적 연구로 제시되어 있으며, 초록만으로는 계산 비용, 더 다양한 시각 과제에서의 성능, 대규모 설정에서의 확장성까지 판단하기는 어렵다. 따라서 VisionScreen은 당장 ViT를 대체하는 완성형 모델이라기보다, 시각 Transformer 설계의 새로운 방향을 보여주는 제안으로 보는 것이 적절하다.

그럼에도 이 접근은 의미가 있다. 앞으로의 시각 모델은 더 잘 attention하는 것뿐 아니라, 어떤 정보를 과감히 제외할지 학습하는 방향으로도 발전할 수 있기 때문이다.

출처: arXiv