개요
이미지 속 물체를 알아보는 능력과 물체 사이의 공간 관계를 이해하는 능력은 다르다. 시각 환경에서 행동하려면 2차원 화면으로부터 3차원 배치를 추론하고, 행동이 가져올 변화를 예상한 뒤, 결과를 보고 판단을 수정해야 한다. TuringSpace는 이 연속적인 과정을 평가 대상으로 삼는다. 보기 중 답을 고르는 대신, 브라우저 화면에서 직접 클릭하고 드래그해야 한다.
핵심 내용
- 행동을 요구하는 공간 벤치마크. TuringSpace는 다섯 가지 공간 능력을 아우르는 125개의 합성 웹 CAPTCHA로 구성된다. 화면에서 클릭과 드래그를 수행하고, 조작 뒤 나타나는 시각적 피드백을 바탕으로 다음 행동을 결정해야 한다.
- 인간과 모델 사이의 격차. 인간의 성공률은 94.1%였다. 비교 대상 중 가장 높은 성능을 보인 GPT-6 Astra는 74.1%로, 25.9%의 과제를 해결하지 못했다. 오픈 웨이트 모델 가운데 최고인 Kimi K3도 실패율이 68.0%였다. 이미지 인식만으로 시각 환경에서의 안정적인 행동까지 보장되지는 않는다는 점을 보여준다.
- 주요 실패 원인은 화면 오독. 연구진은 실패의 대부분이 스크린샷을 잘못 해석한 데서 비롯된다고 분석했다. 행동 후 피드백이 주어져도 모델의 추론이 잘못된 믿음을 바로잡는 경우는 드물고, 오히려 기존 해석을 뒷받침하는 근거를 만들어낼 수 있다. 따라서 추론 단계를 늘리는 것만으로 초기 시각 인식의 오류를 해결하기는 어렵다.
- 평가 환경을 학습에도 활용. 각 과제는 프로그램으로 생성되며 채점기와 정답 궤적을 갖춘다. 이를 통해 새로운 문제를 만들고 검증된 궤적을 학습 데이터로 활용할 수 있다. 연구진이 Qwen3.5-9B를 55K개 궤적으로 미세조정한 결과, 성공률은 1.6%에서 33.1%로 상승해 Kimi K3를 넘어섰다. 7개 분포 외 벤치마크에서도 성능이 좋아졌으며, VSI-Bench의 실제 실내 영상 과제에서는 9.9포인트 향상됐다.
의미와 한계
TuringSpace의 의미는 공간 이해를 관찰, 행동, 결과에 따른 수정의 연속 과정으로 평가한다는 데 있다. 클릭과 드래그를 요구하면 이미지 인식이나 언어적 설명만으로는 드러나기 어려운 위치 관계의 이해와 행동 결과 예측을 확인할 수 있다. 과제를 자동 생성하고 정답 궤적을 검증할 수 있다는 점은 평가뿐 아니라 학습 환경으로서의 활용 가능성도 제공한다.
다만 미세조정된 모델도 TuringSpace에서 인간 성능에는 미치지 못했다. 특정 데이터로 학습하면 능력을 개선할 수 있다는 결과가 범용적인 공간 지능의 달성을 의미하지는 않는다. 컴퓨터 사용 에이전트나 로봇의 지시 수행을 포함한 더 다양한 현실 환경에서, 모델이 안정적으로 장면을 인식하고 행동 결과에 따라 판단을 수정할 수 있는지는 추가 검증이 필요하다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…