SLA, 지속적 사전학습으로 로봇의 3차원 공간 이해 강화

들어가며

로봇이 책상 위의 컵을 집으려면 물체와 명령을 이해하는 것만으로는 부족합니다. 컵의 위치와 거리, 로봇 팔이 어느 방향으로 접근해야 하는지를 3차원 공간에서 판단해야 합니다. 그러나 많은 비전-언어-행동(VLA) 모델은 2차원 비전-언어 사전학습에서 시각 표현을 물려받습니다. 공간 감독은 특정 작업에 맞춘 적응 단계에서 추가되는 경우가 많아, 공간 이해가 여러 작업에 재사용되는 기초 능력이 되기 어렵습니다.

SLA(Spatial-Language-Action Model)는 이 학습 방식을 바꾸려 합니다. 로봇 경험을 활용하는 지속적 사전학습 단계에서 공간 정렬을 학습하고, 이후 작업별 학습에서도 그 능력을 유지하는 것이 목표입니다.

핵심 접근법

• 행동과 공간 표현을 함께 학습. SLA는 사전학습된 pi05 정책에서 시작해 로봇 행동을 예측하는 동시에, 중간 시각 임베딩을 동결된 3D 인식 모델의 공간 표현과 정렬합니다. 공간 정보를 특정 작업만을 위한 보조 신호로 제한하지 않으려는 설계입니다.
• 서로 다른 로봇 데이터를 통합. 다양한 로봇 형태, 작업, 장면에서 수집된 데이터를 함께 사용합니다. 데이터셋마다 기하학 정보가 완전하지 않기 때문에, 교사 모델은 RGB 관측과 함께 사용 가능한 깊이 정보 및 카메라 보정 정보를 활용합니다.
• 여러 계층의 시각 특징을 적응적으로 결합. 공간 단서는 VLA의 특정 한 계층에만 존재하지 않을 수 있습니다. SLA는 특징 의존 게이트를 도입해 여러 계층의 시각 임베딩을 입력에 따라 다르게 집계합니다.
• 시연 궤적 의존성 완화. 확률적 상태 드롭아웃은 상태 입력이나 시연 궤적을 그대로 따라가는 경향을 줄이고, 모델이 시각적 단서를 더 활용하도록 유도합니다. 이를 통해 시연 궤적에 대한 과적합을 완화하려 합니다.
• 추론 시 추가 모듈 불필요. 3D 교사와 보조 공간 구성요소는 학습 중에만 사용됩니다. 학습이 끝난 뒤에는 별도의 공간 교사 네트워크를 배치하지 않고 기존 VLA의 사용 방식을 재활용할 수 있습니다.

의미와 남은 과제

SLA의 핵심은 공간 능력을 학습하는 위치를 앞당긴다는 데 있습니다. 기하학적 이해를 특정 작업의 부가 기능이 아니라, 여러 작업과 로봇에 전이될 수 있는 표현으로 다루려는 것입니다. 정밀한 파지, 배치, 접촉이 필요한 조작에서는 장면 이해와 3차원 행동 선택을 연결하는 방향으로 의미가 있습니다.

동시에 이 연구는 구현상의 어려움도 보여줍니다. 로봇 데이터셋마다 센서 구성, 카메라 파라미터, 깊이 정보의 가용성이 다르기 때문에, 모델은 불완전하고 서로 다른 감독 신호에서 일관된 기하 표현을 배워야 합니다. SLA는 게이트 기반 특징 결합과 부분적인 기하 정보 활용으로 이 문제에 대응하지만, 실제 일반화 범위는 논문의 실험과 추가적인 실제 로봇 평가를 통해 확인해야 합니다. 전체적으로 SLA는 2차원 의미 이해에서 공간에 근거한 행동 모델로 나아가기 위한 지속적 사전학습 경로를 제시합니다.

출처: Hugging Face Daily Papers