REA, 로봇의 빠른 정책과 대규모 모델을 비동기로 연결

배경

체화된 인공지능에서는 고수준 추론과 저수준 제어를 어떻게 연결할지가 중요한 과제입니다. 기초 모델은 작업을 이해하고 복잡한 상황을 판단하는 데 강하지만, 추론 지연과 서비스 비용 때문에 세밀한 제어를 계속 담당하기는 어렵습니다. 반면 시각언어행동 모델(VLA)과 전신 제어기는 빠르게 반응하지만, 학습 분포를 벗어난 환경에서는 일반화가 약할 수 있습니다.

두 종류의 모델을 단순히 연결하는 방식도 충분하지 않습니다. 로봇이 오류가 발생할 때마다 기초 모델의 응답을 기다리면 빠른 실행이 멈출 수 있습니다. 반대로 저수준 정책이 문제가 생길 때마다 상위 에이전트를 호출하면 같은 폴백을 반복하거나, 명확한 오류 신호가 없는 실패를 놓칠 가능성이 있습니다.

REA(Routed Embodied Agent)는 이 문제를 모델 자체가 아니라 실행 런타임의 설계 문제로 다룹니다. 빠른 반응 정책, 체화된 라우터, 느린 숙고형 모듈을 하나의 실행 구조 안에서 협력시키는 방식입니다. 논문에서 사용하는 “System 0/1/2”는 인간의 인지 구조를 설명하려는 표현이 아니라 각 엔지니어링 역할을 가리키는 용어입니다.

핵심 구성

• 추론을 기다리지 않는 실행: REA의 핵심 규칙은 실행 중인 정책이 느린 추론 모듈 때문에 멈추지 않는 것입니다. 이를 통해 제어 루프를 기초 모델의 지연과 분리합니다.
• 경로 메모리: 사용 가능한 정책들의 성공 여부를 사전에 측정해 저장합니다. 매번 기초 모델에 어떤 정책을 선택할지 묻는 대신, 기존 측정값을 이용해 후보를 고릅니다.
• 경계 기반 판단 게이트: 판단 모듈은 모든 실패 직후가 아니라 특정 실행 경계에서 호출됩니다. 불필요한 호출을 줄이면서도 조용한 실패를 점검할 수 있도록 설계된 부분입니다.
• 공유 예산에 따른 단계적 복구: 현재 정책이 더 이상 진행되지 않을 때 제한된 복구 예산 안에서 대응 수준을 올립니다. 동일한 폴백을 무한히 재시도하는 문제를 억제합니다.

실험 결과

REA는 LIBERO-Pro 60개 작업의 3000개 테스트 에피소드에서 95.9%의 성공률을 기록했습니다. 이는 같은 정책 풀에서 가장 좋은 단일 에이전트 기준선인 94.7%보다 높은 수치입니다. 제어 단계는 25%, 제어 시간은 17% 줄었습니다.

이 결과는 성능 향상이 더 강한 단일 모델을 선택한 데서만 나온 것이 아님을 시사합니다. 어떤 정책을 선택할지, 언제 숙고형 모듈을 부를지, 실패 후 얼마나 복구를 시도할지를 하나의 런타임에서 조정한 점이 효율성과 신뢰성에 기여했을 가능성이 있습니다.

제공된 초록에는 별도의 100회 에피소드 평가도 언급되어 있지만, 결과가 중간에서 끊겨 있습니다. 따라서 해당 실험에 대해서는 추가적인 결론을 내릴 수 없습니다.

의미와 남은 과제

REA는 기초 모델을 로봇의 상시 직접 제어기로 사용하는 대신, 필요한 순간에 판단을 보조하는 구조를 제시합니다. 빠른 정책이 지속적인 제어를 담당하고 라우터가 정책 전환과 복구를 관리하는 방식은 실제 배포를 고려한 접근으로 볼 수 있습니다.

다만 경로 메모리는 과거의 측정 데이터에 의존합니다. 새로운 상황에서 기록이 충분하지 않으면 선택 품질이 낮아질 수 있으며, 실행 경계를 어디에 설정할지와 명시적 오류가 없는 실패를 어떻게 감지할지도 중요합니다. 앞으로는 다양한 하드웨어와 작업, 변화하는 정책 풀, 실제 로봇 환경에서의 일반화와 안전성을 추가로 검증해야 합니다.

출처: Hugging Face Daily Papers