GE-Act 2.0, 로봇 세계 행동 모델의 사전학습과 확장성 검증

들어가며

로봇이 장면을 인식하는 것만으로는 실제 조작을 수행하기 어렵다. 현재 상태에서 특정 행동을 취했을 때 장면이 어떻게 변할지 예측하고, 그 변화를 만들 수 있는 제어 신호로 바꿔야 하기 때문이다. 세계 행동 모델(World-Action Model, WAM)은 미래 상태를 예측해 로봇의 행동 계획을 돕는 접근이다. 행동 라벨이 없는 영상과 행동이 포함된 상호작용 데이터를 함께 활용할 수 있다는 점이 기존 정책 모델과 다르다.

AgiBot Research Team이 발표한 GE-Act 2.0은 세계 행동 모델의 사전학습과 규모 확장을 핵심 주제로 삼는다. 기존 연구 상당수는 사전학습된 비디오 생성 모델을 기반으로 삼았지만, 로봇 조작 데이터만으로 생성 및 행동 모듈을 학습할 수 있는지, 데이터가 늘어날 때 제어 성능도 꾸준히 개선되는지는 충분히 다뤄지지 않았다.

모델 구성

GE-Act 2.0의 학습 가능한 구성 요소는 모두 처음부터 초기화된다. 구조는 세 가지 모듈로 나뉜다.

• 제어 지향 오토인코더(CoAE): 관측 정보를 강하게 압축하면서도 행동과 지시에 중요한 정보를 보존한다. 단순히 픽셀을 잘 복원하는 표현보다 제어에 유용한 표현을 만드는 데 초점을 둔다.
• 단일 단계 시각 플래너(SVP): 한 번의 미분 가능한 처리만으로 완전한 미래 상태를 예측한다. 덕분에 시각 계획과 역동역학을 서로 다른 보완 데이터로 사전학습할 수 있다.
• 역동역학 모델(IDM): 현재 상태와 목표 미래 상태를 입력으로 받아 필요한 로봇 행동을 추정한다.

세 모듈은 먼저 각자 적합한 데이터로 학습된 뒤 공동 최적화된다. 이 과정에서 지식 정렬 선택 최적화(KASO)가 사용된다. KASO는 모델이 생성한 미래 상태를 모두 정답으로 취급하지 않고, 기록된 행동과 행동적 의미가 맞는 예측만 선택한다. 이를 통해 영상 상태, 행동 라벨, 모델 예측 사이의 불일치로 발생하는 학습 잡음을 줄이려 한다.

실험 결과

연구진은 과제별 추가 미세조정 없이 사전학습 체크포인트를 직접 평가했다. 실험은 20개 조작 기술 그룹에 속한 100개 과제로 구성됐으며, 테스트에서는 학습 때 보지 못한 장면, 배경, 조명, 물체 인스턴스를 사용했다. 이는 특정 데이터 수집 환경을 넘어서는 제로샷 일반화 능력을 확인하기 위한 설정이다.

공동 학습 데이터를 300시간에서 3만 시간으로 확대하자 G1-OP의 성공률은 17.1%에서 44.1%로 올랐다. G2-90D에서는 13.4%에서 31.1%로 상승했다. 특히 G2-90D는 공동 학습 데이터의 2% 미만을 차지하지만 17.7포인트의 성능 향상과 관련이 있었다. 연구진은 이를 서로 다른 로봇 본체 사이의 지식 전이 가능성으로 해석한다. 다만 이 결과가 모든 로봇 플랫폼에서 동일한 전이를 보장하는 것은 아니다.

성능 향상은 평가 조건에 따라 20개 기술 그룹 중 19개와 18개에 걸쳐 나타났다. 기술별 데이터 커버리지와 미지 분포에서의 제로샷 성공률도 강한 상관을 보였으며, Pearson 상관계수는 0.80, Spearman 순위상관계수는 0.85였다. 물체, 색상, 모양, 위치 지시를 최소 90%의 시험에서 해석했으며, 이미 시작한 행동이나 일반적인 장면 연상과 충돌하는 명시적 지시도 따랐다고 보고됐다.

의미와 남은 과제

GE-Act 2.0의 핵심 기여는 비디오 생성 모델의 시각 능력을 빌리는 데서 벗어나, 세계 행동 모델 자체를 사전학습하고 확장할 대상으로 본 데 있다. 상태 압축, 미래 시각 계획, 역동역학을 분리하면 영상과 조작 궤적에 서로 다른 역할을 부여할 수 있다. KASO는 행동과 일치하지 않는 미래 예측을 걸러내 감독 신호의 품질을 높이려는 장치다.

실험은 데이터가 많아질수록 성능이 좋아질 수 있음을 보여주지만, 단순한 시간 총량만으로 충분하지는 않다는 점도 드러낸다. 어떤 기술과 로봇 본체, 환경을 얼마나 폭넓게 포함하는지가 일반화에 중요하다. 장기 과제 수행, 실패 복구, 실제 환경에서의 안전성은 여전히 추가 검증이 필요하다. GE-Act 2.0은 로봇 기반 모델을 확장하는 한 가지 방향을 제시하지만, 실용적 배치까지는 더 많은 검증이 남아 있다.

출처: Hugging Face Daily Papers