AgenticRoboRL, 로봇 플래너에 코딩 에이전트식 후훈련 적용

배경

에이전트형 로봇 시스템은 보통 언어 모델 플래너와 로봇 하네스로 구성된다. 플래너는 작업을 분해하고 다음 행동을 선택하며, 하네스는 VLA 정책, 로봇 API, 제어 루프 같은 실행 수단을 제공한다. 최근 연구는 더 강력한 하네스나 외부 메모리를 추가하는 방식으로 성능을 높여 왔지만, 플래너 자체는 강력한 비공개 모델에 의존하는 경우가 많았다. AgenticRoboRL은 코딩 에이전트 분야의 접근법을 참고해 로봇 플래너도 직접 후훈련할 수 있는지 살핀다.

작동 방식

AgenticRoboRL은 로봇 컨트롤러를 새로 만들지 않는다. 기존 하네스 안에서 플래너를 훈련하며, 실행 도구와 제어 루프는 고정한다. 플래너는 VLA 정책을 하나의 스킬처럼 호출하거나, 로봇 API를 사용하는 Python 제어 코드를 생성할 수 있다. 학습 대상은 이 의사결정을 담당하는 언어 모델이다.

훈련 과정은 다음과 같이 구성된다.

• 지도 미세조정: 더 강한 교사 모델이 성공적으로 수행한 궤적을 활용한다. 각 단계의 상호작용을 학생 모델이 실제로 받게 될 요청 형식으로 다시 표현해, 작업 분해와 도구 사용 패턴을 학습시킨다.
• 다중 턴 강화학습: 모델이 하네스와 시뮬레이터 안에서 전체 에피소드를 수행하고, 시뮬레이터의 성공 판정을 보상으로 사용한다. 로봇 조작은 중간에 재계획이나 수정이 필요할 수 있으므로 단일 응답이 아닌 여러 턴의 의사결정을 최적화한다.
• 하네스별 어댑터: 하네스마다 실행 방식이 다르기 때문에, 어댑터가 플래너 호출, 토큰 ID, 로그 확률, 에피소드 결과를 기록한다. 이를 통해 실행 구성 요소는 그대로 유지하면서도 공통 강화학습 파이프라인을 사용할 수 있다.

공개된 구현은 VLA 정책을 호출하는 하네스와 제어 코드를 생성하는 하네스에 연결된다. 즉, 로봇이 행동을 실행하는 방식과 플래너가 행동을 결정하는 방식을 분리해 다룰 수 있다.

결과와 의미

LIBERO-PRO 실험에서 9B 파라미터 플래너의 성공률은 외부 메모리 없이 18.1%에서 71.0%로 상승했다. 이는 외부 메모리를 사용하는 Codex（GPT-5.5）의 72.1%에 근접한 수치다. 결과는 더 큰 모델이나 추가 메모리만이 유일한 개선 경로가 아니며, 실제 실행 결과를 학습에 반영하는 것만으로도 기존 플래너의 도구 활용 능력을 크게 높일 수 있음을 시사한다.

개발 관점에서 중요한 점은 모듈성이다. 기존 VLA 정책, 로봇 API, 제어 루프를 유지한 채 상호작용 기록과 작업 결과를 연결하는 어댑터를 추가하면 된다. 이는 여러 로봇 시스템에 강화학습을 적용하고, 컨트롤러의 변화와 플래너의 능력 향상을 분리해 평가하는 데 유리하다.

다만 현재 결과는 LIBERO-PRO를 중심으로 한다. 실제 로봇, 다른 하네스, 더 긴 시간 범위의 작업에서도 같은 효과가 나타나는지는 추가 검증이 필요하다. 특정 실행 인터페이스에 플래너가 과도하게 맞춰질 가능성도 남아 있다. 그럼에도 AgenticRoboRL은 체화 지능의 발전이 도구와 제어기 개선에만 달린 것이 아니라, 이를 조정하는 플래너 자체를 후훈련하는 데에도 있음을 보여준다.

출처: Hugging Face Daily Papers