공간 추론은 말보다 그림으로: ProVisE의 평가 방식

도입

공간 지능은 AI 에이전트가 정적인 장면 이해를 넘어 실제 물리 세계와 상호작용하기 위해 필요한 핵심 능력이다. 하지만 공간 문제의 답이 언제나 문장, 선택지, 좌표로 자연스럽게 표현되는 것은 아니다. 사람이라면 특정 영역을 가리키거나, 경로를 그리거나, 물체를 둘러 표시하는 방식으로 더 쉽게 답할 때가 많다.

논문 “Show, Don’t Tell”은 바로 이 지점, 즉 과제의 의미와 답변 인터페이스 사이의 불일치에 주목한다. 기존 공간 추론 벤치마크는 대체로 좌표, 선택지, 텍스트 출력을 요구한다. 이는 텍스트 출력형 비전-언어 모델에는 적합하지만, 이미지 생성 모델의 능력을 온전히 드러내기에는 한계가 있다. 이미지 생성 모델은 공간 판단을 픽셀 공간에 직접 표현할 수 있기 때문이다.

핵심 내용

• ProVisE는 그림으로 된 답을 채점 가능한 예측으로 바꾼다
  연구진은 ProVisE, 즉 Protocolized Visual Evaluation을 제안했다. 이 프레임워크는 특정 벤치마크에 종속되지 않으며, 과제별로 제한된 시각 답변 프로토콜을 만든다. 모델은 이 규칙에 따라 이미지 위에 표시, 선, 영역 등의 형태로 답하고, ProVisE는 이를 원래 벤치마크가 요구하는 구조화된 예측으로 변환해 기존 지표로 평가한다.

• 답변 형식의 불일치를 줄인다
  많은 공간 과제는 연속적인 시각 장면에 기반한다. 위치, 영역, 경로, 상대 관계는 텍스트보다 이미지 위의 표시로 표현하는 편이 더 자연스러울 수 있다. 모든 모델에 좌표나 문장만 요구하면, 실제 공간 이해 능력보다 특정 출력 형식에 맞추는 능력을 함께 측정하게 된다. ProVisE는 동일한 과제 의미를 유지하면서도 모델별 답변 방식의 차이를 반영하려는 시도다.

• SpatialGen-Bench로 세부 능력을 진단한다
  논문은 SpatialGen-Bench라는 진단용 벤치마크도 제시한다. 이 데이터셋은 470개 샘플, 14개 공간 하위 과제, 4개 능력 수준, 다양한 답변 형식을 포함한다. 단순한 순위표보다는, 어떤 모델이 어떤 공간 표현에서 강하거나 약한지 분석하는 데 초점이 있다.

• 시각 답변과 텍스트 답변은 상호 보완적이다
  연구진은 31개의 텍스트 및 이미지 답변 시스템을 통합 환경에서 평가하고, 6개의 외부 공간 벤치마크에서도 프로토콜 구성 방식을 검증했다. 결과는 분명한 양상을 보였다. 공간 상태를 픽셀로 직접 외부화할 수 있는 과제에서는 이미지 생성 모델이 경쟁력 있는 성능을 보였고, 복합적 추론 과제에서는 텍스트 출력 VLM이 여전히 강했다. 또한 GPT Image 2가 GPT-5.4가 놓친 공간 사례의 37%를 올바르게 해결했다는 점도 보고됐다.

의미와 영향

이 연구의 핵심 메시지는 평가가 데이터셋과 지표만의 문제가 아니라는 것이다. 어떤 채널로 답하게 하느냐가 모델 능력의 관찰 방식 자체를 바꾼다. 공간 과제가 본질적으로 시각적이라면, 텍스트 출력만 허용하는 평가는 이미지 생성 모델의 공간 인지를 과소평가할 수 있다.

이는 구현된 에이전트, 시각 기반 에이전트, 로보틱스 응용에서 특히 중요하다. 현실 세계의 공간 판단은 말보다 행동, 궤적, 영역 선택으로 나타나는 경우가 많다. 픽셀로 표현된 답을 표준 평가 지표와 연결하는 ProVisE 같은 방식은 생성형 시각 능력과 실제 상호작용 능력 사이의 간극을 줄이는 데 도움이 될 수 있다.

물론 이 논문이 시각 답변이 텍스트 추론을 대체한다고 주장하는 것은 아니다. 오히려 결과는 두 방식이 서로 다른 강점을 드러낸다는 점을 보여준다. 앞으로의 공간 지능 평가는 모델에게 설명하게 하는 것뿐 아니라, 알고 있는 것을 직접 그리게 하는 방식도 함께 고려해야 할 것이다.

출처: Hugging Face Daily Papers