MJev-Spatial, 공간 이해를 직접 분류로 바꾸다

들어가며

비전-언어 모델은 공간 관계, 거리, 이미지 속 위치를 묻는 질문에도 대개 텍스트를 자기회귀적으로 생성해 답합니다. 하지만 이런 문제의 출력 공간은 실제로 매우 제한적입니다. 몇 개의 선택지 중 하나이거나, 특정 수치 구간 또는 이미지 안의 한 영역일 수 있습니다. 답변을 토큰 단위로 생성한 뒤 다시 해석하는 방식은 범용적이지만, 상호작용 속도가 중요한 환경에서는 불필요한 지연을 만듭니다.

MJev-Spatial은 이 과정을 ‘답변 생성’이 아니라 ‘후보 선택’으로 바꾸려는 접근입니다. Qwen3.5-4B를 기반으로 구축된 System 1 멀티모달 의사결정 모델로, 빠른 공간 판단을 목표로 합니다.

핵심 설계

• 세 가지 작업을 하나로 통합. 공간 질의응답에서는 주어진 선택지를 클래스처럼 취급합니다. 수치 추정에서는 값을 여러 구간으로 나누고, 이미지 포인팅에서는 이미지 영역을 후보로 사용합니다. 수치와 위치 예측은 거친 후보에서 세밀한 후보로 단계적으로 좁혀 갑니다.
• 기존 어텐션 투영 재사용. 후보 점수는 백본이 사전 학습 과정에서 얻은 Query와 Key 투영을 사용해 계산합니다. 별도의 파라미터를 추가하기보다, 모델 내부 표현과 후보 사이의 어텐션 매칭을 활용하는 방식입니다.
• 답변 토큰 없는 추론. 각 분류 판단은 한 번의 포워드 패스로 완료되며 답변 토큰을 생성하지 않습니다. 수치와 위치 작업의 여러 coarse-to-fine 단계는 하나의 포워드 패스에서 함께 학습됩니다.
• 이기종 데이터 학습 최적화. 기존 공간 데이터셋을 변환해 1230만 개의 질의응답 쌍을 만들고, 교사 강제 방식으로 모든 단계에 공동 감독을 적용합니다. 길이를 고려한 전역 배칭과 GPU 간 부하 균형 조정을 통해 기존 배칭 전략보다 학습 처리량을 30.8% 높였다고 보고합니다.

의미와 한계

프로젝트 발표에 따르면 MJev-Spatial은 12개 벤치마크에서 평균 65.64%의 점수를 기록했고, 7개 벤치마크에서 가장 높은 성능을 보였습니다. 또한 자기회귀 기반 모델보다 실행 속도가 5.6배 빠릅니다. 출력 공간이 명확히 정해진 작업에서는 범용 텍스트 생성보다 직접 분류가 더 적합할 수 있다는 점을 보여주는 결과입니다.

이 접근의 의미는 단순한 디코딩 가속에 그치지 않습니다. 멀티모달 모델의 출력 인터페이스를 설명 문장 대신 선택지, 수치 구간, 이미지 영역으로 설계할 수 있음을 보여줍니다. 로봇 조작, 시각导航, 이미지 상호작용처럼 짧은 주기로 판단해야 하는 시스템에서는 토큰을 전혀 생성하지 않는 경로가 활용될 가능성이 있습니다.

다만 분류 방식의 성능은 후보 구성, 수치 구간의 분할, 이미지 영역 정의에 영향을 받습니다. 자유로운 설명이나 열린 형태의 묘사에는 여전히 생성 모델이 필요합니다. 따라서 MJev-Spatial은 모든 자기회귀 추론을 대체하기보다, 구조화된 공간 판단을 빠르게 처리하는 전용 경로로 이해하는 편이 적절합니다.

출처: Hugging Face Daily Papers