VisCo: VLM 자체를 활용한 시각 토큰 압축

도입

비전-언어 모델(VLM)은 이미지 이해, 시각 질의응답, 멀티모달 추론에서 빠르게 발전하고 있습니다. 하지만 이미지를 많은 수의 시각 토큰으로 표현하기 때문에 추론 지연과 메모리 사용량이 커지는 문제가 뒤따릅니다. 시각 토큰이 많을수록 어텐션 계산 비용이 늘어나고, 이는 실제 서비스 배포 비용에도 영향을 줍니다.

Hugging Face Daily Papers에 소개된 **“VisCo: Leveraging Large Language Models as Intrinsic Encoders for Visual Token Compression”**는 이 병목을 다루는 새로운 관점을 제시합니다. 별도의 외부 압축 모듈을 추가하는 대신, 사전학습된 VLM 자체를 시각 정보 압축기로 활용하자는 접근입니다.

핵심 내용

• 문제는 많은 시각 토큰에서 시작된다
  VLM은 이미지의 세부 정보를 보존하기 위해 다수의 시각 토큰을 언어 모델에 전달합니다. 이 방식은 표현력 측면에서는 유리하지만, 계산량과 메모리 측면에서는 부담이 큽니다. 고해상도 이미지, 여러 장의 이미지 입력, 긴 멀티모달 컨텍스트에서는 이 문제가 더 두드러집니다.

• 기존 압축 방식의 한계
  학습이 필요 없는 방식은 적용이 쉽지만, 대체로 휴리스틱 기준에 따라 토큰을 선택하거나 제거합니다. 논문은 이런 방식이 높은 압축률에서는 성능 저하를 크게 겪을 수 있다고 지적합니다. 반면 학습 기반 방식은 더 강력할 수 있지만, 외부 압축 모듈을 도입하는 경우 VLM 본체가 이에 적응해야 하며 재학습 비용과 사전학습된 prior 훼손 가능성이 생깁니다.

• VisCo의 관점: 압축 능력은 이미 모델 안에 있다
  효과적인 시각 토큰 압축은 단순히 토큰을 버리는 문제가 아니라, 중요한 정보를 더 조밀하게 인코딩하는 문제입니다. VisCo는 사전학습된 VLM이 이미 강한 정보 표현 능력을 갖고 있다는 점에 주목하고, 이를 내재적 인코더로 재사용합니다.

• memory tokens가 압축된 시각 정보를 담는다
  VisCo는 파라미터를 공유하는 오토인코더 형태의 자기 압축 프레임워크로 설명됩니다. 인코딩 단계에서 시각 정보는 소수의 memory tokens로 압축됩니다. 이후 디코딩 단계에서는 인코딩 과정의 계층적 정보를 전달해, 압축 과정에서 필요한 시각 의미가 지나치게 손실되지 않도록 합니다.

• 강한 압축에서 더 큰 효과를 보고
  초록에 따르면 VisCo는 평가된 모든 압축 비율에서 기존 방법을 앞섰고, 압축이 더 공격적일수록 개선 폭이 커졌습니다. 특히 극단적인 단일 토큰 설정에서도 안정적인 성능을 유지했다고 보고합니다. 또한 학습된 memory tokens를 원래 시각 토큰과 함께 사용할 경우 베이스 모델 성능을 높일 수 있다는 관찰도 제시됩니다. 이는 memory tokens가 단순한 축약본이 아니라 보완적인 표현을 담을 가능성을 시사합니다.

의미와 영향

VisCo의 핵심 의미는 시각 토큰 압축을 외부 모듈이나 단순 제거 문제가 아니라, 모델 내부의 재인코딩 문제로 바꿔 보았다는 점입니다. 이 접근이 더 다양한 VLM, 데이터, 실제 서비스 조건에서도 검증된다면 멀티모달 모델의 추론 비용을 줄이는 실용적 경로가 될 수 있습니다.

개발자 입장에서는 시각 토큰 수를 줄여 지연 시간과 메모리 사용량을 낮출 수 있다는 점이 매력적입니다. 특히 여러 이미지를 처리하거나 제한된 자원에서 VLM을 운영해야 하는 경우 관심을 가질 만합니다. 다만 제공된 자료에는 구체적인 벤치마크 수치, 실제 배포 비용, 적용 난이도에 대한 세부 정보가 포함되어 있지 않습니다. 따라서 논문 본문과 공개 코드 확인이 필요합니다. 해당 페이지에는 GitHub 저장소가 연결되어 있으며, 저자 댓글에는 ACM MM 2026에 채택되었다는 언급이 있습니다.

출처: Hugging Face Daily Papers