WeVisOne-VL, 객체 이해에서 픽셀 수준 인식까지 통합

이미지를 설명하는 데서 정확히 가리키는 단계로

비전-언어 모델은 장면 설명과 이미지 질의응답에서는 빠르게 발전했지만, “대상이 정확히 어디에 있는가”를 세밀하게 지정하는 데에는 여전히 한계가 있습니다. 대상을 인식하더라도 위치가 어긋나거나 경계가 거칠 수 있고, 이미지에 없는 대상을 있다고 답하는 오류도 발생합니다.

Tencent 연구팀이 발표한 WeVisOne-VL은 이 문제를 상호작용 가능한 시각 인식의 관점에서 다룹니다. 사용자는 이미지에 무엇이 있는지 묻는 데 그치지 않고, 대상의 위치를 점, 바운딩 박스, 픽셀 마스크, 알파 매트 형태로 요청할 수 있습니다.

여러 시각 작업을 하나의 인터페이스로

기존 컴퓨터 비전 파이프라인은 검출, 세그멘테이션, OCR, 매팅에 서로 다른 모델이나 API를 사용하는 경우가 많습니다. WeVisOne-VL은 구조화된 next-token prediction을 이용해 이러한 기능을 하나의 비전-언어 모델 안에서 통합하려고 합니다.

핵심 구성 요소는 특수한 <OBJ> 토큰입니다. 인스턴스 수준의 픽셀 출력이 필요할 때 이 토큰을 통해 경량 pixel decoder가 연결됩니다. 언어 모델은 사용자의 지시를 이해하고 대상을 식별하며 출력 형식을 구성하고, 픽셀 디코더는 해당 인스턴스에 대한 정밀한 공간 정보를 생성합니다. 그 결과 점, 박스, 마스크, 알파 매트는 서로 완전히 분리된 작업이 아니라 같은 상호작용 흐름 안의 서로 다른 출력 수준으로 처리됩니다.

보고된 주요 기능은 다음과 같습니다.

• 객체 검출과 referring localization
• 이미지 속 대상 카운팅
• OCR
• 세그멘테이션
• 이미지 매팅 및 알파 매트 예측
• 대상이 존재하지 않는 질의에 대한 거부

커리큘럼 학습과 평가

학습은 3단계 커리큘럼 방식의 지도 미세 조정(SFT) 뒤에 여러 작업을 섞은 강화학습(RL)을 적용하는 구조입니다. 먼저 다양한 작업의 출력 형식을 학습하고, 이후 서로 다른 시각 목표 사이에서 더 안정적인 판단과 결과 생성을 유도하려는 방식으로 볼 수 있습니다. 존재하지 않는 대상에 대한 거부를 별도로 강조한 점도 중요합니다. 실제 인식 시스템은 대상을 찾는 능력뿐 아니라, 요청한 대상이 이미지에 없다고 판단하는 능력도 필요하기 때문입니다.

보고서는 WeVisOne-VL이 객체 수준과 픽셀 수준을 포함한 30개 이상의 벤치마크에서 높은 성능을 보였다고 설명합니다. 다만 제공된 자료에는 세부 점수, 모델 규모, 추론 비용이 제시되지 않았습니다. 따라서 모든 개별 작업에서 우위를 차지한다고 단정하기보다는, 전체 논문과 실험 결과를 확인할 필요가 있습니다.

의미와 남은 과제

WeVisOne-VL의 중요한 시도는 “이미지에 무엇이 있는지 이해하는 일”과 “그 위치를 정확히 보여주는 일”을 하나의 인터페이스로 연결한 것입니다. 이미지 편집, 데이터 라벨링, 문서 이해, 콘텐츠 검수처럼 정밀한 시각 상호작용이 필요한 분야에서는 지시에 따라 출력 수준을 선택하는 모델이 텍스트 설명만 제공하는 모델보다 쉽게 활용될 수 있습니다.

그러나 통합 구조가 곧바로 배포 수준의 신뢰성을 보장하는 것은 아닙니다. 복잡한 장면에서의 경계 정확도, 다중 객체 관계 이해, 어려운 문서 레이아웃의 OCR, 강화학습 이후의 일반화 성능은 코드와 공개 모델을 바탕으로 추가 검증해야 합니다. 오픈소스 공개는 커뮤니티가 이러한 실제 가치를 재현하고 평가할 수 있는 기반을 제공합니다.

출처: Hugging Face Daily Papers