GreenWAM, 로봇 세계 모델과 제어 정책을 하나로 통합

들어가며

로봇이 현실에서 작업하려면 현재 상태를 보고 다음 행동을 고르는 정책만으로는 부족하다. 특정 행동을 했을 때 물체와 주변 장면이 어떻게 바뀔지 예측하는 세계 모델도 필요하다. 그러나 기존 연구에서는 세계 모델과 정책을 따로 개발하는 경우가 많았고, 로봇마다 행동을 기록하는 형식도 달랐다. 이 차이는 한 로봇에서 배운 지식을 다른 몸체로 옮기는 데 장애가 된다. GreenWAM은 세계 모델과 정책을 하나의 로봇 파운데이션 모델 안에서 다루려는 시도다.

핵심 설계

GreenWAM의 출발점은 서로 다른 로봇이 행동을 표현하는 방식을 통일하는 것이다.

• 공통 해부학적 행동 공간: 양팔 로봇부터 손가락을 정교하게 움직이는 휴머노이드까지 20개 로봇 계열을 공통 관절 좌표로 설명한다. 이를 통해 특정 하드웨어에만 종속되지 않는 행동 표현을 학습하려 한다.
• 공동 학습: 모델은 시각, 행동 조건부, 세계-행동 모드에서 함께 학습된다. 현재 화면을 이해하고, 행동 이후의 미래 상태를 예측하며, 관측과 행동 및 결과 사이의 관계를 연결하는 방식이다.
• 행동 전문가 분리: 세계 모델로 사용할 때는 주어진 행동에 따른 가능한 미래를 생성하거나 예측한다. 실제 제어에서는 생성기에서 행동 전문가를 분리해 더 직접적으로 제어 출력을 만든다. 하나의 표현을 공유하면서도 실시간 제어에 필요한 효율을 확보하려는 설계다.

보고된 성능

논문 요약에 따르면 GreenWAM은 WorldArena 1.0에서 궤적, 깊이, 3D 정확도 부문에서 높은 수준의 결과를 냈으며, 비교에 포함된 모든 세계-행동 모델과 비디오 생성 모델을 앞섰다. 정책으로는 RoboTwin 2.0 리더보드의 상위권에 올랐고, 비교 방법 중 LIBERO-plus 제로샷 성공률이 가장 높았다. CALVIN과 LIBERO에서도 전용 비전-언어-행동 모델 및 세계-행동 정책과 경쟁력 있는 결과를 보였다고 연구진은 설명한다.

실제 휴머노이드에 모델을 적용한 실험도 진행됐다. 제공된 요약에서는 GreenWAM 기반 정책이 π0.5와 Cosmos 3 Edge에서 파생한 정책보다 더 자주 성공했다고 보고한다. 또한 실시간 제어를 위해 모델을 단일 스텝 정책으로 증류했다. 다만 현재 자료에는 작업별 세부 점수, 하드웨어 구성, 학습 규모와 통계적 오차가 포함돼 있지 않으므로 결과를 일반적인 우월성으로 확대 해석해서는 안 된다.

의미와 남은 과제

GreenWAM이 제시하는 중요한 관점은 미래 예측과 행동 결정을 서로 무관한 모듈이 아니라 하나의 로봇 표현을 활용하는 두 가지 방식으로 보는 것이다. 여러 몸체에서 같은 표현이 작동한다면, 한 로봇에서 수집한 경험을 다른 로봇의 학습에 활용하기 쉬워질 수 있다. 또한 무거운 생성형 세계 모델에서 빠른 제어 정책을 추출하는 경로도 제공한다.

하지만 공통 관절 공간이 센서, 운동학적 한계, 접촉 물리, 지연 시간, 데이터 품질의 차이까지 해결해 주는 것은 아니다. 시뮬레이션 벤치마크의 성능이 장시간 현실 작업의 안정성을 보장하지도 않는다. 학습 데이터 구성, 계산 비용, 실패 사례, 재현성에 대한 추가 공개가 있어야 GreenWAM이 실제로 범용 로봇 인프라가 될 수 있는지 판단할 수 있다.

출처: Hugging Face Daily Papers