CaPtain, 소형 오픈 VLM을 코드 기반 로봇 에이전트로 전환

배경

로봇 에이전트는 미리 정의된 기술을 호출하는 수준에서 벗어나, 주어진 목표에 맞춰 실행 절차를 구성하는 방향으로 발전하고 있습니다. Code-as-Policy는 이러한 방식을 로봇 조작에 적용합니다. 비전-언어 모델은 저수준 동작을 직접 나열하는 대신 로봇 API를 호출하는 코드를 작성하고, 실행 결과를 확인한 뒤 다음 요청을 결정합니다.

이 구조는 유연하지만 학습 신호를 해석하기 어렵습니다. 한 번의 요청이 만든 물리적 변화가 몇 턴 뒤에 나타날 수 있고, 에피소드 마지막에는 성공 또는 실패라는 결과만 주어지는 경우가 많기 때문입니다. 따라서 수십 번의 요청 가운데 어떤 행동이 최종 성공에 기여했는지 추정해야 합니다.

CaPtain의 접근법

CaPtain은 소형 오픈 비전-언어 모델을 코드 기반 로봇 에이전트로 바꾸기 위한 후학습 파이프라인입니다. 학습과 배포는 CaPtain-Harness 안에서 이뤄집니다. Harness는 저수준 지각, 기하 계산, 안전 제약이 적용된 모션 프리미티브를 제공하며 시뮬레이션과 실제 하드웨어를 모두 지원합니다. 에이전트는 관측을 바탕으로 코드를 생성하고, 실행 결과를 읽으며 여러 턴에 걸쳐 작업을 수행합니다.

첫 단계는 GPT-6 Astra가 생성한 합성 궤적을 활용한 지도 미세조정입니다. 이 단계에서 모델은 API 사용법, 작업 분해 방식, 환경과의 상호작용 형식을 익힙니다. 이후 멀티턴 강화학습을 적용해 실제 작업 결과를 바탕으로 계획과 실행을 개선합니다.

가장 중요한 구성 요소는 물리적 크리틱입니다. 이 크리틱은 학습 중 시뮬레이터의 특권 물리 상태를 읽을 수 있지만, 정책에는 해당 정보가 제공되지 않습니다. 각 요청이 최종 성공 확률을 얼마나 바꾸는지 추정해 긴 상호작용 과정에 보상을 배분합니다. 그 결과 배포 시 정책의 관측 제약은 유지하면서, 지연되어 나타나는 물리적 결과를 학습에 반영할 수 있습니다.

성능과 의미

제로샷 성공률이 0%였던 Qwen3.5-4B에서 출발한 CaPtain-4B는 LIBERO 홀드아웃 평가에서 지도 미세조정 후 55.4%, 강화학습 후 73.8%를 기록했습니다. LIBERO-PRO에서는 78.5%에 도달해 일부 프런티어 모델 에이전트를 앞섰습니다. 세 가지 섭동 테스트에서도 강화학습의 개선 효과가 유지됐으며, 향상 폭은 17.6~21.2%포인트였습니다.

대상 도메인에서 추가 학습하지 않은 상태로 SimplerEnv WidowX에서 83.3%를 기록했고, CaP-Bench에서도 프런티어 모델을 능가했습니다. 또한 시뮬레이션만으로 적응한 뒤 실제 로봇에서 실행할 수 있었습니다.

이 결과는 로봇 조작에 폐쇄형 대형 모델이나 사전학습된 VLA가 반드시 필요한 것은 아닐 수 있음을 보여줍니다. 다만 성능은 특정 Harness, 시뮬레이터와 작업 분포를 바탕으로 검증됐습니다. 더 복잡하고 개방적인 현실 환경으로의 일반화는 아직 확인해야 할 과제입니다. 코드, 데이터, 모델 가중치 공개는 이 문제를 재현하고 확장하기 위한 출발점을 제공합니다.

출처: Hugging Face Daily Papers