HoloBoxing, 휴머노이드 복싱을 계획과 실행으로 분리하다

휴머노이드 복싱은 팔을 뻗는 동작만 학습하면 되는 문제가 아니다. 펀치에는 몸통과 다리의 협응, 균형 유지, 무게중심 조절, 타이밍, 상대와 접촉한 뒤의 반응이 함께 필요하다. 관절 명령을 직접 강화학습하는 방식이라면 로봇은 기본적인 전신 움직임과 복싱에 필요한 작업 행동을 동시에 발견해야 하므로 탐색 비용이 커질 수 있다.

HoloBoxing은 이 두 책임을 분리한다. 연구진은 이미 사전 학습된 전신 제어기를 사용하고, 작업 학습 단계에서는 이를 고정한다. 제어기는 상위 수준의 신체 목표를 관절 수준의 움직임으로 바꾸므로, 작업 정책이 기본적인 전신 협응을 처음부터 다시 배울 필요가 없다. 대신 소형 플래너가 가까운 미래에 신체의 주요 지점을 어디로 움직일지 결정한다.

행동 표현도 모든 관절을 직접 노출하는 방식을 피한다. 학습된 디코더가 32차원 행동을 신체 지점에 대한 구조화된 목표 구간으로 변환한다. 이를 통해 플래너가 다루는 의사결정 공간을 작고 정돈된 형태로 유지할 수 있다. 세부적인 관절 제어와 전신 협응은 하위 제어기가 담당하므로, 상위 정책은 복싱 작업에 필요한 판단에 집중한다.

학습 과정은 두 단계로 구성된다. 먼저 측정된 상태를 이용한 모방으로 플래너를 초기화한다. 강화학습이 무작위 탐색에서 출발하는 대신, 학습 초기에 활용할 수 있는 행동을 확보하기 위한 절차다. 이후 강화학습을 통해 복싱 과정의 상호작용 행동을 개선한다. 디코더와 전신 제어기를 재사용하면서 최적화 대상이 작은 상위 정책으로 제한된다.

논문은 전신 제어기가 이미 준비된 상황에서 추가 학습 시간이 단일 GPU 기준 약 7분이라고 설명한다. 이 수치에는 재사용 표현을 맞추는 과정과 작업 학습이 포함되지만, 제어기 사전 학습, 데이터 준비, 평가, 탐색 시간은 제외된다. 따라서 휴머노이드가 아무것도 모르는 상태에서 복싱을 배우는 데 총 7분이면 된다는 의미는 아니다. 실험은 시뮬레이션에서 진행됐으며, 모방 초기화와 목표 표현의 역할은 구성 요소 비교를 통해 분석됐다.

HoloBoxing의 broader한 의미는 운동 기술과 작업 계획을 재사용 가능한 계층으로 나눴다는 데 있다. 전신 제어기가 충분한 움직임을 지원한다면, 몸 전체의 협응과 상호작용이 필요한 다른 작업에도 같은 구성을 적용할 가능성이 있다. 그러나 실제 로봇으로의 전이와 새로운 행동에 대한 일반화는 제어기의 범위, 목표 표현의 품질, 시뮬레이션과 현실의 차이에 좌우된다. 따라서 이 연구는 범용 휴머노이드 제어를 완성했다기보다 작업 학습의 부담을 줄이는 하나의 실용적인 레시피를 제시한 것으로 보는 편이 정확하다.

출처: Hugging Face Daily Papers