GroundingPI: 물리 지능을 위한 4B 비전 그라운딩 기반 모델

들어가며

물리 지능 시스템에서 물체를 인식하는 것만으로는 충분하지 않습니다. 로봇이 물체를 집거나 이동하려면 명령이 어떤 대상을 가리키는지, 그리고 그 대상이 화면의 어디에 있는지를 정확히 알아야 합니다. 자율주행 역시 차량과 보행자, 도로 요소의 위치를 파악해야 행동을 결정할 수 있습니다. GroundingPI는 이러한 위치 지정 능력을 범용 비전·언어 모델에서 부수적으로 얻는 기능이 아니라, 물리 지능을 위한 기본 지각 능력으로 다룹니다.

모델의 접근법

GroundingPI는 40억 개 파라미터를 가진 그라운딩 기반 모델입니다. 점과 바운딩 박스를 양자화된 좌표로 변환해 공유 어휘로 표현하고, 이를 생성 방식으로 출력합니다. 텍스트 설명에만 의존하지 않고 제어 시스템이 사용하기 쉬운 구조화된 공간 정보를 직접 제공한다는 점이 핵심입니다.

학습 과정은 여러 단계로 구성됩니다.

• 멀티모달·공간 사전학습: 시각적 의미와 공간 관계를 함께 학습합니다.
• 지도 미세조정: 공개 데이터셋과 전용 데이터 엔진을 사용해 다양한 위치 지정 사례를 확장합니다.
• GRPO 강화학습: 좌표 예측과 전체 그라운딩 품질을 추가로 최적화합니다.

11개 지각 능력을 다루는 34개 벤치마크에서 44개 기준 모델과 비교한 결과, GroundingPI의 평균 점수는 73.68%였습니다. 논문에서 비교한 더 큰 모델 GPT-6 Astra의 71.54%보다 높은 수치입니다. 이는 위치 지정 성능이 단순한 모델 크기뿐 아니라 데이터 구성과 학습 목표에도 크게 좌우된다는 점을 보여줍니다.

로봇과 자율주행에서의 결과

GroundingPI는 비전·언어·행동 모델과 월드·액션 모델의 시각 백본으로도 평가됐습니다. RoboTwin 2.0의 네 가지 분포 밖 설정에서 평가 대상의 모든 주요 백본을 앞섰고, 가장 큰 상대 개선폭은 24.8%였습니다. RoboCasa-GR1에서는 시연 데이터의 50%만 사용해 학습한 모델이 75%를 사용한 비교 백본보다 높은 성능을 보였습니다.

nuScenes 자율주행 실험에서 시각 백본으로 사용된 GroundingPI는 평균 오픈 루프 L2 오차 0.296미터를 기록했습니다. 분석 결과 사전학습 규모가 커질수록 로봇 조작과 자율주행 성능이 함께 향상됐습니다. 또한 밀집 그라운딩은 여러 지각 능력에 효과적이었으며, OCR 데이터가 지각 학습을 촉진할 가능성도 제시됐습니다.

의미와 남은 과제

이 연구의 넓은 의미는 물리 지능의 지각 기반을 전용 모델로 구축할 수 있다는 데 있습니다. 빠르고 구조화된 공간 출력은 시각 이해와 행동 생성을 연결하는 중간 표현으로 활용될 수 있습니다.

다만 주요 근거는 벤치마크, 시뮬레이션, 오픈 루프 평가에서 나왔습니다. 실제 환경의 가림, 센서 잡음, 장시간 폐루프 상호작용에서의 안정성을 직접 보장하는 결과는 아닙니다. 실기기 검증이 더 필요하지만, 코드와 모델 가중치, 추론 스택을 공개했다는 점은 후속 연구와 응용을 촉진할 기반이 됩니다.

출처: Hugging Face Daily Papers