VABench, 멀티모달 모델의 체화된 공간 지능을 검증하다

서론

현실 세계에서 작동하는 로봇은 물체가 어디 있는지 말하는 것만으로는 충분하지 않다. 대상이 가려져 있거나 현재 시점에서 정보가 부족하거나 장면의 배치가 달라지면, 시스템은 어떤 증거가 필요한지 판단하고 카메라를 움직여 추가 정보를 얻어야 한다. 또한 서로 다른 시점의 관찰을 하나의 공간 좌표계로 통합한 뒤, 추론 결과를 정밀한 행동으로 바꾸고 실행 피드백에 따라 계획을 수정해야 한다. VABench는 이러한 관찰·추론·행동·수정의 전 과정을 평가하도록 설계됐다.

무엇을 평가하는가

VABench에서 범용 멀티모달 대규모 모델은 RGB 시각 시연을 통해 작업 절차의 맥락을 파악한다. 모델은 카메라 시점을 선택하고, 미터 단위의 직교 좌표 목표를 제시하며, 실행 결과를 바탕으로 다음 명령을 수정한다. 물체의 실제 자세, 오라클 궤적, 학습된 전용 행동 헤드는 제공되지 않는다. 실제 실행은 모델이 지정한 목표만 수행하는 고정된 모델 비의존 컨트롤러가 담당한다.

벤치마크는 11개의 단일 팔 과제와 3개의 양팔 과제로 구성된 14개 기본 작업군을 포함한다. 여기에 7개의 보류된 기하 구조·배치 변형과 5개 물체를 다루는 장기 구성 트랙도 추가됐다. 각 기본 과제에서는 물리적으로 검증된 동일한 20개 시드를 사용하고, 12개의 주요 모델 조건을 세 차례 독립적으로 실행한다. 최종 성공률뿐 아니라 9개의 궤적 수준 행동 진단 지표와 하위 과제 진행률도 보고한다.

핵심 결과

• 부분적인 시각 능력이 곧바로 체화 능력으로 이어지지는 않는다. 주석이 포함된 실행에서 최고 모델은 목표 위치 추정 100.0%, 공간 관계 판단 78.9%를 기록했지만, 세 번의 실행을 평균한 매크로 과제 성공률은 53.93%±3.17%에 불과했다.
• 능동적 지각의 효과는 뚜렷했다. 조건을 맞춘 한 비교에서 수동적인 다중 시점 관찰의 성공률은 27.86%였지만, 모델이 카메라를 직접 제어할 수 있을 때는 57.50%로 상승했다. 단순히 더 많은 영상을 제공하는 것보다 필요한 증거를 선택하는 일이 중요할 수 있다는 의미다.
• 새로운 기하 구조로의 전이는 취약했다. 보류된 배치에서는 과제 성공률이 30%포인트 넘게 하락할 수 있었으며, 모델이 익숙한 공간 패턴에 크게 의존한다는 점을 보여준다.
• 장기 구성 과제는 특히 어려웠다. 모델은 상당한 부분 과제 진전을 보였지만, 엄격한 장기 에피소드를 완주한 모델은 없었다.

의미와 영향

VABench의 차별점은 공간 지능을 정적인 시각 질의응답으로 제한하지 않고, 증거 수집과 좌표 정렬, 미터 수준 제어, 실패 후 수정까지 함께 평가한다는 데 있다. 이는 학습 중 보지 못한 장면에서 로봇이 물체를 집고, 배치하고, 여러 물체를 조합해야 하는 실제 작업의 난점을 더 잘 반영한다.

결과는 체화 모델의 발전이 더 나은 이미지 설명이나 더 큰 언어 모델만으로 해결되지 않음을 시사한다. 앞으로는 강력한 능동 시각 정책, 신뢰할 수 있는 공간 표현, 실행 피드백을 이용해 계획을 갱신하는 제어 메커니즘이 필요하다. VABench는 단일 최종 성공률을 넘어, 실패가 인식 부족 때문인지 공간 추론 문제인지, 행동 정밀도나 복구 능력의 문제인지 구분할 수 있는 진단 틀을 제공한다.

출처: Hugging Face Daily Papers