Zetta, 로봇의 실행 중 복구와 자기진화를 위한 폐루프 프레임워크

들어가며

현실 세계에서 움직이는 로봇은 계획을 세우는 것보다 실행 중 변화에 대응하는 일이 더 어려울 수 있습니다. 잡기가 실패하거나 물체가 움직이고, 이동 경로가 막히면 처음에는 타당했던 행동 순서가 빠르게 무너집니다. 그러나 많은 임바디드 시스템은 롤아웃 동안 미리 정해진 스킬을 계속 사용하고, 에피소드가 끝난 뒤에야 결과를 분석합니다. 이처럼 사후 반성에 의존하는 구조는 빠르게 변하는 로봇과 환경의 상태를 제때 따라가기 어렵게 만듭니다.

Zetta는 반성을 실행 루프 안으로 가져오려는 접근입니다. 기반 정책은 그대로 고정하고, 코드 형태의 런타임 크리틱과 복구 스킬을 온라인으로 진화시킵니다. 매번 기반 모델을 다시 학습하는 대신, 정책 주변의 하네스가 실행 상태를 감시하고 실패 원인을 찾아 재사용 가능한 복구 로직을 축적하는 방식입니다.

세 가지 루프의 역할

Zetta는 제어와 학습을 서로 다른 시간尺度를 가진 세 개의 루프로 나눕니다.

• 행동 주파수 거버넌스: 로봇과 환경의 상태를 높은 빈도로 관찰하고 현재 행동이 여전히 적절한지 판단합니다. 상태가 달라지면 실행 중 개입할 수 있습니다. 이는 대형 에이전트 모델이 행동 주파수로 계속 의사결정하기 어려운 문제를 보완합니다.
• 롤아웃 수준 제안: 롤아웃이 끝난 뒤 실행 과정을 분석합니다. 크리틱은 실패 패턴을 식별하고 복구 스킬이나 실행 로직의 수정안을 제안합니다.
• 검증 게이트 기반 업데이트: 새 스킬을 즉시 채택하지 않고 검증 단계를 통과한 경우에만 재사용 가능한 지식으로 등록합니다. 한 번의 잘못된 경험이 이후 행동에 반복적으로 퍼지는 것을 막기 위한 장치입니다.

즉각적인 제어, 에피소드 단위 진단, 장기적인 스킬 축적을 분리하면 각 기능에 필요한 속도와 신뢰성을 따로 관리할 수 있습니다.

인프라까지 분리하다

Zetta는 에이전트 로직과 서로 다른 실행 자원을 분리하는 Z-Infra도 함께 제안합니다. 임바디드 실험에서는 모델 추론, 시뮬레이션, 실제 로봇 실행이 각기 다른 하드웨어와 환경에서 이뤄질 수 있습니다. 이 계층을 분리하면 대규모 롤아웃을 구성하기 쉽고, 특정 실행 환경에 대한 의존도도 낮출 수 있습니다.

논문이 제시한 롤아웃 예산에서 Zetta는 LIBERO-Pro에서 90.8%, RoboCasa에서 93.6%의 성공률을 기록했으며, 추론 속도는 11.1배 빨라졌다고 보고합니다. 자기 탐색 경험이 늘어날수록 성공률이 계속 상승했고, 학습한 스킬은 제로샷으로 전이됐다는 결과도 제시합니다. 연구진은 학습 과정에서 로봇의 “Aha Moments”가 나타났다고 표현합니다.

의미와 남은 질문

Zetta의 의미는 물리 지능을 확장하는 또 하나의 경로를 보여준다는 데 있습니다. 새로운 실패가 발생할 때마다 기반 정책을 바꾸는 대신, 크리틱과 복구 스킬, 검증 규칙으로 구성된 런타임 계층에서 시스템을 개선합니다. 안정적인 기반 모델을 유지하면서 물리적 실패에 대한 복원력을 높일 수 있는 구조입니다.

다만 제공된 자료만으로는 더 다양한 실제 환경이나 장시간 운용, 스킬 라이브러리가 크게 확장된 상황에서의 안정성을 판단하기 어렵습니다. 실패 유형의 분포, 검증에 필요한 비용, 서로 다른 로봇 간 일반화 역시 추가 검증이 필요합니다. 그럼에도 Zetta는 로봇 실행을 고정된 절차에서 지속적으로 감시되고 선택적으로 자기개선되는 폐루프로 바꾸는 구체적인 설계를 제시합니다.

출처: Hugging Face Daily Papers