아티클 목록으로
로보틱스·피지컬 AI

EgoX: 서로 다른 몸을 가진 로봇이 조작 경험을 공유하는 방법

약 4분 소요

배경

로봇 조작 정책은 대개 특정 하드웨어를 중심으로 학습됩니다. 관절 구조, 카메라 시점, 엔드 이펙터, 센서, 제어 명령은 로봇마다 다르기 때문입니다. 인간의 시연, 여러 실제 로봇의 데이터, 시뮬레이션 에이전트의 경험은 서로 보완적일 수 있지만, 이런 차이를 고려하지 않고 한데 섞어 학습하기는 어렵습니다. EgoX는 서로 다른 몸을 가진 에이전트의 경험을 함께 활용하기 위한 방법을 제시합니다.

공유 Transformer와 모듈형 인터페이스

EgoX는 에고센트릭 데이터에 기반한 교차 임바디먼트 학습 프레임워크입니다. 의미적으로 대응하는 관측 및 행동 모달리티를 정리한 뒤, 임바디먼트 드리밍을 포함한 모듈형 교차 임바디먼트 Transformer인 MXT+를 사전 학습합니다. 이후 목표 로봇의 시연 데이터로 미세 조정합니다.

MXT+는 모든 로봇을 동일한 원시 입력 형식으로 바꾸려 하지 않습니다.

  • 관측 모달리티마다 전용 토크나이저를 둡니다.
  • 행동 모달리티마다 전용 전문가 모듈을 둡니다.
  • 임바디먼트를 넘어 Transformer 본체를 공유합니다.

이 구조는 플랫폼별 입출력 처리와 공유 가능한 조작 지식을 분리합니다. 시각, 고유수용감각, 제어 신호의 형식이나 차원이 달라도 전용 모듈이 경계에서 차이를 처리하고, 공유 본체는 여러 플랫폼에 의미가 있는 패턴을 학습할 수 있습니다.

임바디먼트 드리밍의 역할

EgoX는 학습 중에만 사용하는 보조 목표인 ‘임바디먼트 드리밍’을 도입합니다. 모델은 현재 문맥을 바탕으로 미래 시각 상태와 고유수용감각 상태의 잠재 표현을 예측해야 합니다. 완전한 미래 이미지를 생성하는 것이 아니라, 각 임바디먼트가 시간에 따라 어떻게 변화하는지 공유 본체가 학습하도록 만드는 것이 목적입니다.

이 목표는 행동과 그 결과 사이의 관계를 모델에 학습시킵니다. 유용한 공유 표현은 물체의 모습뿐 아니라 특정 로봇이 어떻게 움직이고, 자신의 상태를 감지하며, 행동 이후 다음 관측을 어떻게 바꾸는지도 반영해야 합니다. 보고된 제거 실험에서는 임바디먼트 드리밍이 임바디먼트 간 잠재 표현의 기하를 더 유사하게 만들면서 각 플랫폼의 동역학 정보도 보존하는 것으로 나타났습니다.

실험 결과

평가는 5개 과제, 6개 로봇 임바디먼트, 13개 과제·임바디먼트 조합에서 수행됐습니다. 여기에는 5개의 실제 로봇과 1개의 시뮬레이션 인간형 로봇이 포함됩니다. 처음부터 학습하는 방식과 비교했을 때, 교차 임바디먼트 사전 학습은 MXT+의 평균 정규화 과제 진행도를 0.63에서 0.80으로 높였습니다. 분포 밖 조건에서는 평균 진행도가 0.53에서 0.77로 상승해 개선 폭이 더 컸습니다.

제거 실험은 더 폭넓은 사전 학습 데이터 혼합, 모듈형 인터페이스, 임바디먼트 드리밍이 각각 도움이 된다는 점을 보여줍니다. 다만 제공된 자료에는 과제별·로봇별 개별 점수가 제시되지 않았으므로, 수치는 모든 플랫폼에 동일하게 적용되는 보장이 아니라 전체적인 경향으로 해석해야 합니다.

의미와 남은 과제

EgoX는 로봇 기반 모델이 단일 하드웨어의 데이터에만 의존할 필요가 없다는 방향을 제시합니다. 새로운 로봇마다 대규모 데이터를 처음부터 수집하는 대신, 여러 임바디먼트로 사전 학습한 뒤 대상 로봇의 모듈과 데이터로 적응할 수 있습니다. 특히 분포 밖 상황에서 효과가 크게 나타났다는 점은 실제 환경의 다양성을 고려할 때 의미가 있습니다.

물론 전이 성능은 서로 다른 플랫폼의 관측과 행동 사이에 의미 있는 대응 관계가 있는지에 달려 있습니다. 새 플랫폼마다 전용 토크나이저와 행동 전문가가 필요할 수도 있습니다. 더 다양한 형태와 복잡한 작업, 대규모 실제 데이터로 확장할 수 있는지는 추가 검증이 필요합니다. 그럼에도 EgoX는 교차 임바디먼트 학습을 단순한 데이터 결합이 아니라 인터페이스와 동역학을 함께 다루는 문제로 정리했다는 점에서 주목할 만합니다.

출처: Hugging Face Daily Papers

댓글

로그인 상태 확인 중…

댓글 불러오는 중…

관련 게시물

CCTest · Blog
로봇 에이전트는 과제를 배우는가, 검증기를 배우는가
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

로봇 에이전트는 과제를 배우는가, 검증기를 배우는가

구현형 에이전트 연구에 따르면 벤치마크 성공 기준을 공개하면 원래 검증기에서 점수는 빠르게 오르지만, 특정 검증 로직에 과적합할 수 있다. 자연어 지시를 충실히 반영하는 평가 기준이 실제 과제 수행 능력을 더 잘 측정한다.

더 보기
CCTest · Blog
로봇을 세계 안에서 학습시키는 RoboScript, 가중치 업데이트 없이 조작 기술 전이
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

로봇을 세계 안에서 학습시키는 RoboScript, 가중치 업데이트 없이 조작 기술 전이

RoboScript는 고정된 모델이 시뮬레이션 환경에서 조작 작업을 반복 연습하고, 피드백을 모델 가중치가 아닌 컨텍스트에 저장하도록 하는 World In-Context Learning을 제안합니다. RoboTwin 2.0의 50개 작업에서 작업당 시연 한 번만으로 83.4%의 평균 성공률을 보고했습니다.

더 보기