SpatialScout, VLM 에이전트의 능동적 3D 탐색과 지도 작성 평가

들어가며

이미지를 보고 무엇이 있는지 설명하는 능력과, 행동에 활용할 수 있는 3차원 세계 모델을 구축하는 능력은 다릅니다. 실제 에이전트는 다음에 어디를 볼지 선택하고, 서로 다른 시점에 나타난 물체가 같은 대상인지 판단하며, 새로운 관측이 들어오면 기존 위치 추정을 수정해야 합니다. SpatialScout는 바로 이러한 능동적 공간 이해를 직접 측정하기 위해 제안되었습니다.

무엇을 평가하나

SpatialScout는 80개의 다양한 실내 장면과 3,140개의 목표 물체로 구성됩니다. 에이전트에는 물체 목록, RGB 관측, 카메라 보정 정보와 카메라 자세가 주어집니다. 하지만 한 장의 이미지에만 의존할 수는 없습니다. 제한된 상호작용 예산 안에서 카메라를 제어해 장면을 탐색한 뒤, 공통 3D 좌표계에서 각 물체의 중심 위치를 추정해야 합니다.

이 설정은 여러 능력을 함께 시험합니다.

• 능동 탐색: 무작정 관측을 모으는 대신 정보량이 큰 시점을 선택하는 능력
• 시점 간 대응: 여러 이미지에 나타난 물체를 동일한 인스턴스로 연결하는 능력
• 기하 추정: 시각 정보와 카메라 정보를 이용해 3D 위치를 추론하는 능력
• 지도 수정: 추가 증거가 생겼을 때 이전의 부정확한 추정을 고치는 능력

평가는 물체를 발견했는지만 보지 않습니다. 물체 크기 기반 중첩 점수로 위치 정확도와 목표 커버리지를 함께 측정하며, 예측에서 빠진 물체에는 불이익을 줍니다. 따라서 쉽게 찾을 수 있는 물체 몇 개만 보고해서는 높은 점수를 얻기 어렵습니다.

결과가 보여주는 한계

보고된 실험에 따르면 최신 VLM 에이전트에게 능동적 3D 매핑은 여전히 어려운 문제입니다. 평가 모델 가운데 가장 높은 성능을 보인 Claude Opus 5.5의 평균 중첩 점수는 41.71%였습니다. IoU 0.5를 넘은 목표는 47.23%였지만, 0.9를 넘은 목표는 3.25%에 불과했습니다. 모델이 방의 대략적인 배치는 복원할 수 있어도, 모든 물체를 빠짐없이 정확한 위치에 배치하는 일은 아직 취약하다는 의미입니다.

의미와 영향

SpatialScout의 핵심은 정적인 시각 질의응답 데이터를 추가하는 데 있지 않습니다. 공간 이해를 연속적인 의사결정 문제로 바꾼다는 점이 중요합니다. 에이전트는 관측 계획을 세우고, 여러 프레임의 증거를 통합하며, 이후 행동에 사용할 수 있을 만큼 정밀한 공간 표현을 유지해야 합니다. 이는 내비게이션, 조작, 점검 등 물리 세계에서 작동하는 AI의 기초 능력입니다.

이 점수가 모든 실제 환경에서의 성능을 대변하는 것은 아니지만, 탐색 전략, 물체 대응, 3D 위치 추정, 지도 갱신 중 어디에서 실패가 발생하는지 분석할 수 있는 기준을 제공합니다. 물리 AI가 발전할수록 눈앞의 장면을 설명하는 모델과, 측정 가능한 세계 모델을 능동적으로 만드는 에이전트 사이의 차이는 더욱 중요해질 것입니다.

출처: Hugging Face Daily Papers