UrbanGround, 실제 규모 도시에서 멀티모달 에이전트의 공간 능력을 검증하다

들어가며

거리 장면을 보고 무엇이 있는지 설명하는 능력은 도시 안에서 목적지까지 이동하는 능력과 다르다. 실제 환경에서 행동하는 에이전트는 시점이 바뀌어도 공간 정보를 유지하고, 불완전한 지시를 바탕으로 다음 행동을 선택하며, 잘못된 경로를 택했을 때 이를 감지하고 수정해야 한다. UrbanGround는 이러한 지각과 행동 사이의 간극을 도시 규모에서 측정하기 위한 평가 샌드박스다.

홍콩을 인터랙티브한 실험장으로

UrbanGround는 홍콩 전역의 3D 지리공간 데이터를 활용해 물리적 제약을 갖춘 실제 규모의 도시 복제 환경을 구축한다. 에이전트는 1인칭 시점으로 3D 도시에 직접 들어가 주변을 관찰하고 이동할 수 있으며, 내비게이션을 위해 상호작용 지도를 사용할 수 있다. 핵심은 관찰 한 번으로 답을 내는 것이 아니라, 관찰하고 행동한 뒤 새롭게 보이는 정보를 다시 해석하는 폐루프 구조다.

정적인 거리 이미지나 미리 정해진 짧은 경로를 평가하는 방식과 달리, 이 플랫폼은 멀티모달 대규모 언어 모델을 연결해 시각적 그라운딩, 공간 질의응답, 내비게이션, 탐색, 계획, 환경 적응을 시험한다. 시간대와 날씨, 도로 폐쇄, 이동하는 보행자 같은 조건도 바꿀 수 있어 현실 도시의 불확실성을 일부 반영한다. 웹 버전과 네이티브 빌드, 평가 코드와 태스크가 함께 제공되어 새로운 도시형 체화 태스크를 만드는 기반으로도 활용할 수 있다.

핵심 관찰

• 국소 인식이 전역 능력을 보장하지 않는다. 현재 MLLM은 도시의 물체와 환경 단서를 인식하고 가까운 거리의 공간 추론을 수행하는 데 유용한 모습을 보인다.
• 긴 경로에서는 작은 오류가 커진다. 목적지가 멀어지고 지시가 덜 명확해질수록 방향 감각과 경로 유지가 불안정해진다.
• 오류 복구가 취약하다. 새로운 관찰을 얻고도 잘못된 가정을 찾아 행동을 재계획하지 못하는 경우가 있다.
• 동적 조건은 난도를 높인다. 도로 이용 가능성의 변화와 보행자의 움직임은 경로 계획과 보행자 인지 이동을 동시에 요구한다.

의미와 영향

UrbanGround의 중요한 점은 공간 에이전시를 단일 점수로만 보지 않고, 능력이 확장되는 과정으로 나눠 평가한다는 데 있다. 에이전트는 먼저 현재 장면을 공간적으로 정렬해야 하고, 이를 가까운 행동으로 연결한 다음, 변화하는 도시에서 장기 목표를 유지해야 한다. 이 구조는 시각 인식, 위치 추정, 지도 활용, 상태 추적, 계획, 제어 중 어느 부분이 병목인지 구분하는 데 도움을 준다.

이 결과는 더 강한 시각 인코더만으로는 충분하지 않을 수 있음을 시사한다. 안정적인 방향 표현, 지속적인 상태 갱신, 불확실성을 고려한 계획, 능동적인 오류 수정이 함께 필요하다. 개별 단계에서 합리적인 결정을 여러 번 내리더라도, 그 결정들이 시간에 따라 연결되지 않으면 도시 규모의 목표를 달성하기 어렵다.

체화 AI의 발전을 평가하려면 현재 보이는 장면을 설명하는지뿐 아니라, 이동하는 동안 유용한 공간 모델을 계속 유지하는지도 확인해야 한다. UrbanGround는 이 문제를 비교적 현실적인 조건에서 연구할 수 있는 공통 기반을 제공한다.

출처: Hugging Face Daily Papers