A²-MEAS가 제안하는 실패를 회복하는 로봇 제어

서론

시각이나 언어 지시를 따를 수 있는 로봇이 여러 단계의 작업을 자율적으로 끝낼 수 있다는 뜻은 아닙니다. 가정용 작업에서는 물체를 잘못 잡거나, 대상을 놓치거나, 삽입 위치가 어긋나는 한 번의 실패가 이후 모든 단계에 영향을 줄 수 있습니다. 「Toward the Era of Agentic Embodied Intelligence」에서 제안한 A²-MEAS는 실패 진단과 복구를 일시적인 외부 개입이 아니라 제어 루프의 일부로 만들려는 접근입니다.

작동 방식

A²-MEAS는 코드를 모듈 간 통신과 확장을 위한 인터페이스로 사용하는 embodied multi-agent 프레임워크입니다. 학습되는 교정 코드에는 기초 모델의 수정 지시, 로봇이 관찰한 공간적 증거, 방금 수행한 행동의 이력, 다음 행동에 대한 제안이 함께 담깁니다. 여기서 코드는 전통적인 프로그램이라기보다 상태, 진단, 행동 의도를 전달하는 구조화된 정보에 가깝습니다.

MetaBrain은 학습 단계에서 감독을 제공하고 실행 중에는 시스템을 안내합니다. 교정 인코더와 어댑터는 훈련 중 이러한 지식을 정책에 흡수합니다. 배포 단계에서는 주요 정책 가중치를 고정한 채 새로운 교정 코드를 사용해 행동을 바꿀 수 있습니다. 범용 행동 정책을 학습하는 과정과 새로운 실패에 적응하는 과정을 분리한 셈입니다.

행동 모델 A2-WLA는 시각·언어·행동 정책에 동작을 고려한 이력과 잠재 세계 모델을 추가합니다. 현재 이미지뿐 아니라 직전 움직임과 행동이 환경을 어떻게 바꿀지에 대한 내부 표현도 활용하므로, 여러 단계가 서로 의존하는 작업에 더 적합한 정보를 제공합니다.

보고된 성능

논문은 시뮬레이션과 실제 로봇 환경에서 다음과 같은 결과를 제시합니다.

• BEHAVIOR 2026 공개 50개 과제에서 온라인 교정 전 Q-score 0.5755를 기록했습니다. 2025년 우승자의 보고 점수 0.2605와 비교하면 2.21배지만, 두 결과는 벤치마크 버전과 학습 설정이 다르므로 엄밀한 대조 실험으로 해석할 수 없습니다.
• 공개 100개 과제 전체에서는 A²-MEAS가 Q-score 0.6411, 과제 성공률 45.40%를 달성했습니다. 연구팀은 2026 BEHAVIOR Challenge에서 세계 4위를 차지했다고도 밝혔습니다.
• RoboTwin 2.0에서는 A2-WLA의 평균 성공률이 93.98%, 전체 시스템을 적용하면 95.05%로 상승했습니다.
• 다섯 가지 가정 환경의 실제 로봇 12개 과제에서는 A2-WLA가 평균 57.92%를 기록해 pi0.5의 26.67%를 웃돌았습니다. 정책을 고정한 실험에서는 로봇이 단독으로 120회 중 50회를 완료했고, 교정 인터페이스를 사용하면 63회를 완료했습니다.
• 장기적인 핸드드립 커피 작업에서 이력 조건부 어댑터는 필터 처리 두 단계의 실패 후 완료율을 각각 14%에서 94%, 8%에서 82%로 높였습니다. 비교 대상은 A2-WLA의 단순 재시도였습니다.

의미와 한계

이 접근의 핵심은 다음 행동을 예측하는 데서 멈추지 않고, 직전 행동이 왜 실패했는지와 다음 시도에서 무엇을 바꿔야 하는지를 다루는 데 있습니다. 교정 계층은 기존 행동 정책을 재사용하게 해 주며, 기초 모델과 로봇 제어기 사이의 역할도 더 명확하게 만들 수 있습니다.

다만 현재 결과는 특정 벤치마크와 작업 조건에 기반합니다. 보지 못한 물체와 배치, 연속적인 실패 상황에서도 교정 코드가 안정적으로 일반화되는지는 아직 확인되지 않았습니다. 앞으로는 사람의 개입이 적고 환경 변화가 큰 가정용 작업에서, 이 복구 방식이 얼마나 오래 안정적으로 작동하는지가 중요한 검증 과제가 될 것입니다.

출처: Hugging Face Daily Papers