RoboArchitect, 모델 가중치 업데이트 없이 로봇 제어 프레임워크를 진화시키다

들어가며

로봇의 성능은 행동을 예측하는 정책만으로 결정되지 않습니다. 시각·언어·행동(VLA) 정책을 언제 호출할지, 추가 비전 도구를 사용할지, 아니면 코드로 로봇 팔을 직접 제어할지와 같은 운영 방식도 결과에 큰 영향을 줍니다. RoboArchitect는 이 주변의 ‘에이전트 하니스’를 사람이 직접 작성하는 대신 자동으로 설계하고 개선할 수 있는지 살펴본 연구입니다.

동결된 정책 주변을 최적화

RoboArchitect는 로봇 정책의 가중치를 업데이트하지 않습니다. 대신 코딩 모델이 로봇의 실행 궤적을 관찰하고 실패 원인을 진단한 뒤, 정책을 감싸는 제어 코드를 반복적으로 수정합니다. 하니스는 동결된 정책을 호출할 시점, 비전 도구를 사용할 상황, 코드로 직접 명령을 내릴 상황을 결정합니다.

하니스는 일부 에피소드에서 최적화되고, 별도의 장면과 작업에서 평가됩니다. 따라서 특정 사례를 단순히 외우는 것이 아니라, 다른 환경에도 적용할 수 있는 제어 전략을 만들어내는지가 핵심입니다.

코드 기반 제어와 지속 메모리

생성된 에이전트는 대체로 학습된 정책과 코드 기반 정책 사이에 동적인 역할 분담을 형성합니다. 이미 정책이 잘 처리하는 동작은 그대로 맡기고, 명확하고 구조적인 행동이나 복구 동작은 코드가 담당합니다. 예를 들어 팔이 걸렸을 때 먼저 들어 올려 장애물을 피하거나, 위쪽 경로가 막혀 있을 때 수평으로 접근하는 전략이 자동으로 발견될 수 있습니다.

또 다른 특징은 에피소드 간 지속 메모리입니다. 이전 시도에서 효과적이었던 경험을 저장하고 이후 판단에 활용합니다. 특정 물체를 잡을 때 적절했던 깊이가 다음 시도의 참고 정보가 되는 방식입니다. 따라서 최적화 대상은 제어 함수만이 아니라, 경험을 축적하고 다시 불러오는 방법까지 포함합니다.

결과와 의미

여러 벤치마크와 정책을 대상으로 한 실험에서 보지 못한 장면의 평균 성공률은 9.7%에서 43.3%로, 보지 못한 작업에서는 12.7%에서 40.2%로 상승했습니다. 각각 약 4.5배와 3.2배에 해당하는 개선이며, 모델 가중치 업데이트는 없었습니다. 특히 평가 환경이 정책의 학습 데이터와 크게 다를수록 효과가 컸습니다. 범용 정책에 진화한 하니스를 결합하면 미세조정된 버전을 능가하는 경우도 보고되었습니다.

이 연구는 로봇 성능 향상의 초점을 더 큰 정책 모델을 학습하는 일에서 기존 능력을 조직하는 일로 넓힙니다. 앞으로의 로봇 에이전트는 단일 종단 간 정책보다 동결된 모델, 도구, 실행 가능한 제어 코드, 메모리를 함께 사용하는 형태가 될 수 있습니다. 다만 이 결과는 논문이 다룬 벤치마크와 실험 조건에 기반하며, 더 개방적이고 복잡한 실제 환경에서의 안정성은 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers