Robot-Centric Pointmaps: VLA가 로봇 좌표계로 세상을 보게 하다

도입

비전-언어-행동 모델(VLA)은 로봇이 시각 관측과 자연어 지시를 바탕으로 행동을 예측하게 하는 핵심 접근법으로 자리 잡고 있다. 하지만 이 구조에는 중요한 좌표계 문제가 숨어 있다. 모델은 보통 카메라가 보는 좌표계에서 장면을 입력받지만, 실제로 출력해야 하는 행동은 로봇 자신의 3D 좌표계에서 정의된다.

KAIST AI의 논문 See like a Robot: Robot-Centric Pointmaps for Vision-Language-Action Models 는 바로 이 불일치에 초점을 맞춘다. 저자들이 제안한 robot-centric pointmaps는 VLA를 완전히 새로운 3D 아키텍처로 바꾸기보다, 기존 2D 기반 VLA가 처리하기 쉬운 이미지 형태의 격자 안에 로봇 좌표계의 3D 기하 정보를 넣는 방식이다.

핵심 포인트

• 문제의 출발점은 관측 좌표와 행동 좌표의 차이
  카메라 시점이 고정되어 있다면 정책은 이미지와 행동 사이의 대응을 어느 정도 암기할 수 있다. 그러나 대규모 로봇 데이터셋은 다양한 카메라 위치와 시점에서 수집된 시연을 포함한다. 같은 작업 공간상의 관계도 이미지에서는 다르게 보이기 때문에, 정책이 시점 전반에 걸쳐 일반화하기 어려워진다.

• Pointmap은 픽셀마다 로봇 기준 3D 좌표를 담는다
  일반 RGB 이미지는 각 픽셀에 색 정보를 저장한다. 반면 robot-centric pointmap은 해당 픽셀이 가리키는 장면 점의 3D 좌표를 로봇 좌표계 기준으로 저장한다. 따라서 모델은 물체가 카메라 화면 어디에 보이는지만이 아니라, 로봇에 대해 어디에 있는지도 직접 활용할 수 있다.

• 2D VLA와의 호환성을 유지한다
  이 방법의 중요한 설계는 H×W 형태의 조밀한 격자를 유지한다는 점이다. 기존 사전학습 2D VLA가 기대하는 입력 구조와 잘 맞기 때문에, 완전히 다른 3D 파이프라인을 새로 만들 필요가 적다. 제공된 설명에 따르면 추가 인코더 하나와 원소별 덧셈으로 결합할 수 있다.

• 시점 변화에서 더 강한 성능을 보인다
  RoboCasa에서 pointmaps는 pi0.5와 SmolVLA를 모두 개선했으며, 대표적인 카메라 시점 기반 및 3D-aware 기준선보다 나은 결과를 보였다. 실제 로봇 실험에서도 카메라를 학습 중 보지 못한 위치로 옮겼을 때 RGB-only 정책 대비 이점이 더 커졌다.

의미와 영향

이 연구의 핵심은 더 큰 로봇 모델을 제안하는 데 있지 않다. 오히려 VLA의 일반화 한계가 입력 표현 자체에서 비롯될 수 있음을 보여준다. 로봇에게 중요한 것은 물체가 이미지 속 어느 위치에 보이는가뿐 아니라, 그 물체가 그리퍼나 작업 공간을 기준으로 어디에 있는가이다.

Robot-centric pointmaps는 이러한 기하적 정렬의 일부를 입력 단계에서 해결한다. 다양한 실험실, 카메라 설치 방식, 배포 환경에서 모인 로봇 데이터를 함께 학습해야 하는 상황에서는 이처럼 로봇 행동 좌표계와 가까운 표현이 특히 유용할 수 있다.

물론 이 접근에는 3D 기하 정보와 카메라-로봇 간 보정 관계가 필요하다. 따라서 기존 VLA를 대체한다기보다는, 현재 모델을 실제 로봇 실행 공간에 더 잘 맞추는 보강 방식으로 보는 것이 적절하다. 그럼에도 행동이 로봇 좌표계에서 정의된다면, 인식 역시 그 좌표계에 가까워져야 한다는 메시지는 분명하다.

출처: Hugging Face Daily Papers