아티클 목록으로

WAM-Policy, 사족 로봇의 언어 기반 이동 조작을 시도하다

약 3분 소요

사족 로봇이 걸으면서 앞다리로 물체를 다루는 이동 조작은 보행과 접촉 동작을 전신으로 조율해야 한다. 여기서 다루는 로봇은 별도의 팔이 없으며, 세 다리로 몸을 지지하는 동안 남은 앞다리로 조작한다. 월드 액션 모델(WAM)은 언어 지시에 따른 조작 정책으로 주목받지만, 기존 모델은 주로 로봇 팔에 맞춰 학습됐고 추론 과정의 샘플링도 느리다. WAM-Policy는 이러한 모델을 사족 로봇에 옮기고 실행 비용을 줄이는 방법을 제안한다.

형태 적응과 가속, 이후의 성능 개선

첫 번째 단계인 ‘교차 형태 정책 적응 및 가속’에서는 팔 중심 WAM 정책을 사족 로봇에 맞게 조정한다. 이어 온폴리시 자기 증류(OPSD)를 통해 학생 정책이 자신의 정책 분포에서 교사의 행동을 학습하도록 한다. 초록에 따르면 학생 모델은 비디오 한 단계와 행동 두 단계를 사용해, 교사의 느린 샘플링 절차를 그대로 따르지 않고 동작한다.

하지만 시연 모방에만 의존하는 교사에서 증류한 학생은 교사의 능력을 넘기 어렵다. 이에 두 번째 단계인 ‘과제별 개선 및 통합’에서는 강화학습(RL)으로 과제별 교사 정책을 개선한다. 이후 다중 교사 온폴리시 증류(M-OPD)를 적용해 느린 과제 특화 정책들을 적은 단계로 실행되는 하나의 학생 모델로 합친다. 즉, 앞 단계는 형태 전이와 속도 개선에, 뒤 단계는 과제 성능 향상과 정책 통합에 초점을 둔다.

시뮬레이션 성과와 실물 검증의 한계

평가는 시뮬레이션 과제 10개로 구성된 QLM-Bench에서 이뤄졌다. 원격조작 없이 합성한 시연 데이터 1,000개를 사용했다. 형태 전이를 거친 정책의 성공률은 77.0%였다. OPSD 학생 모델은 성공률 76.7%를 유지하면서 샘플링 속도를 14배 높였다. 과제별 RL과 M-OPD를 적용한 뒤 성공률은 85.0%로 올라갔다. 이 결과는 초기 증류가 시뮬레이션 성능을 거의 보존하면서 샘플링 비용을 줄이고, 추가 학습과 통합이 벤치마크 점수를 개선할 수 있음을 보여준다.

연구진은 OPSD 학생 모델을 실제 Unitree Go2 Air에도 배포했다. 다만 제공된 초록에는 실물 과제의 성공률, 시험 횟수, 시뮬레이션과의 비교가 없다. 따라서 실제 환경에서의 신뢰성까지 확인됐다고 보기는 어렵다. WAM-Policy의 의미는 언어 조건 조작 모델을 다른 로봇 형태로 옮기고, 증류에 의한 가속과 강화학습에 의한 개선을 하나의 절차로 연결한 데 있다. 향후에는 다양한 실제 환경과 과제에서 일반화 성능을 검증해야 한다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
GPT-6.2 Astra, 로봇 조작 과제 성공률 두 배 이상 향상
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

GPT-6.2 Astra, 로봇 조작 과제 성공률 두 배 이상 향상

XDOF의 Ember-0 평가에서 GPT-6.2 Astra는 양팔 로봇 16개 조작 과제의 평균 성공률 41.2%를 기록했다. 두 달 전 GPT-6 Astra의 19.6%보다 크게 높아졌으며, 매듭 묶기와 티셔츠 펼치기에도 성공했다고 XDOF는 밝혔다.

더 보기
CCTest · Blog
Mind2Act World, 로봇의 추론과 행동을 나눠 평가한다
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

Mind2Act World, 로봇의 추론과 행동을 나눠 평가한다

Mind2Act World는 과거 관찰을 바탕으로 한 추론, 동작 실행, 환경 피드백을 통한 두 능력의 결합을 각각 살펴보는 시뮬레이션 벤치마크입니다. 로봇의 실패가 어디서 비롯되는지 진단하는 데 초점을 둡니다.

더 보기