아티클 목록으로

Zetta, 로봇의 실행 중 복구와 자기진화를 위한 폐루프 프레임워크

약 3분 소요

들어가며

현실 세계에서 움직이는 로봇은 계획을 세우는 것보다 실행 중 변화에 대응하는 일이 더 어려울 수 있습니다. 잡기가 실패하거나 물체가 움직이고, 이동 경로가 막히면 처음에는 타당했던 행동 순서가 빠르게 무너집니다. 그러나 많은 임바디드 시스템은 롤아웃 동안 미리 정해진 스킬을 계속 사용하고, 에피소드가 끝난 뒤에야 결과를 분석합니다. 이처럼 사후 반성에 의존하는 구조는 빠르게 변하는 로봇과 환경의 상태를 제때 따라가기 어렵게 만듭니다.

Zetta는 반성을 실행 루프 안으로 가져오려는 접근입니다. 기반 정책은 그대로 고정하고, 코드 형태의 런타임 크리틱과 복구 스킬을 온라인으로 진화시킵니다. 매번 기반 모델을 다시 학습하는 대신, 정책 주변의 하네스가 실행 상태를 감시하고 실패 원인을 찾아 재사용 가능한 복구 로직을 축적하는 방식입니다.

세 가지 루프의 역할

Zetta는 제어와 학습을 서로 다른 시간尺度를 가진 세 개의 루프로 나눕니다.

  • 행동 주파수 거버넌스: 로봇과 환경의 상태를 높은 빈도로 관찰하고 현재 행동이 여전히 적절한지 판단합니다. 상태가 달라지면 실행 중 개입할 수 있습니다. 이는 대형 에이전트 모델이 행동 주파수로 계속 의사결정하기 어려운 문제를 보완합니다.
  • 롤아웃 수준 제안: 롤아웃이 끝난 뒤 실행 과정을 분석합니다. 크리틱은 실패 패턴을 식별하고 복구 스킬이나 실행 로직의 수정안을 제안합니다.
  • 검증 게이트 기반 업데이트: 새 스킬을 즉시 채택하지 않고 검증 단계를 통과한 경우에만 재사용 가능한 지식으로 등록합니다. 한 번의 잘못된 경험이 이후 행동에 반복적으로 퍼지는 것을 막기 위한 장치입니다.

즉각적인 제어, 에피소드 단위 진단, 장기적인 스킬 축적을 분리하면 각 기능에 필요한 속도와 신뢰성을 따로 관리할 수 있습니다.

인프라까지 분리하다

Zetta는 에이전트 로직과 서로 다른 실행 자원을 분리하는 Z-Infra도 함께 제안합니다. 임바디드 실험에서는 모델 추론, 시뮬레이션, 실제 로봇 실행이 각기 다른 하드웨어와 환경에서 이뤄질 수 있습니다. 이 계층을 분리하면 대규모 롤아웃을 구성하기 쉽고, 특정 실행 환경에 대한 의존도도 낮출 수 있습니다.

논문이 제시한 롤아웃 예산에서 Zetta는 LIBERO-Pro에서 90.8%, RoboCasa에서 93.6%의 성공률을 기록했으며, 추론 속도는 11.1배 빨라졌다고 보고합니다. 자기 탐색 경험이 늘어날수록 성공률이 계속 상승했고, 학습한 스킬은 제로샷으로 전이됐다는 결과도 제시합니다. 연구진은 학습 과정에서 로봇의 “Aha Moments”가 나타났다고 표현합니다.

의미와 남은 질문

Zetta의 의미는 물리 지능을 확장하는 또 하나의 경로를 보여준다는 데 있습니다. 새로운 실패가 발생할 때마다 기반 정책을 바꾸는 대신, 크리틱과 복구 스킬, 검증 규칙으로 구성된 런타임 계층에서 시스템을 개선합니다. 안정적인 기반 모델을 유지하면서 물리적 실패에 대한 복원력을 높일 수 있는 구조입니다.

다만 제공된 자료만으로는 더 다양한 실제 환경이나 장시간 운용, 스킬 라이브러리가 크게 확장된 상황에서의 안정성을 판단하기 어렵습니다. 실패 유형의 분포, 검증에 필요한 비용, 서로 다른 로봇 간 일반화 역시 추가 검증이 필요합니다. 그럼에도 Zetta는 로봇 실행을 고정된 절차에서 지속적으로 감시되고 선택적으로 자기개선되는 폐루프로 바꾸는 구체적인 설계를 제시합니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
HINT-WAM, 미래 시연 영상으로 로봇 행동 모델을 훈련하다
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

HINT-WAM, 미래 시연 영상으로 로봇 행동 모델을 훈련하다

HINT-WAM은 시연 영상의 미래 정보를 훈련 중에만 활용해, 모델이 자체 생성한 샘플링 궤적에서 행동을 지도하는 방법을 제안합니다. 다만 제공된 자료에는 전체 실험 결과가 포함되어 있지 않습니다.

더 보기
CCTest · Blog
로봇 에이전트는 과제를 배우는가, 검증기를 배우는가
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

로봇 에이전트는 과제를 배우는가, 검증기를 배우는가

구현형 에이전트 연구에 따르면 벤치마크 성공 기준을 공개하면 원래 검증기에서 점수는 빠르게 오르지만, 특정 검증 로직에 과적합할 수 있다. 자연어 지시를 충실히 반영하는 평가 기준이 실제 과제 수행 능력을 더 잘 측정한다.

더 보기