ZimaBlue, 대규모 신체 비디오로 일반화 가능한 로봇 세계 행동 모델 학습

배경

로봇 조작이 새로운 환경과 물체에 대응하려면 다양한 물리적 경험이 필요하다. 그러나 행동 라벨이 붙은 로봇 궤적을 수집하는 일은 비용이 높고, 특정 로봇과 환경에 종속되기 쉽다. 이런 데이터만으로는 물체와 도구의 종류, 접촉 방식, 장기 행동의 다양성을 충분히 확보하기 어렵다. ZimaBlue는 더 쉽게 확장할 수 있는 1인칭 비디오를 로봇 학습의 경험 데이터로 활용하는 방법을 탐구한다.

3단계 학습 과정

ZimaBlue가 제안하는 World Action Model（WAM）은 비디오에서 얻은 세계의 시각적 변화와 로봇이 실행할 수 있는 행동을 연결하는 모델이다. 학습 과정은 세 단계로 구성된다.

• 신체 비디오 사전 학습: 먼저 사람과 로봇의 대규모 1인칭 비디오를 사용해 인과적 신체 비디오 사전 학습을 수행한다. 모델은 화면의 연속적인 변화에서 물체 상호작용, 접촉 동역학, 도구 사용, 장기 행동의 패턴을 학습한다. 각 장면에 정확한 행동 라벨이 없어도 되므로 데이터의 범위를 넓힐 수 있다.
• 비디오-행동 중간 학습: 다음으로 서로 다른 로봇에서 수집한 궤적을 투입한다. 통합 행동 표현을 사용해 비디오에서 학습한 시각적 동역학을 실제 행동과 연결한다. 이 단계는 한 로봇의 제어 신호를 단순히 복제하는 것이 아니라, 서로 다른 로봇 형태 사이에서 관찰과 실행의 대응 관계를 만드는 역할을 한다.
• 대상 로봇 특화: 마지막으로 실제 배치할 로봇에 맞춰 모델을 조정한다. 광범위한 시각적·동역학적 사전 지식을 유지하면서 대상 로봇의 신체 구조와 행동 인터페이스를 반영하는 방식이다.

생성형 세계 모델은 높은 표현력을 얻는 대신 실시간 제어에 필요한 지연 시간을 맞추기 어려울 수 있다. ZimaBlue는 이를 위해 비동기 Slow-Fast 이중 시스템을 사용한다. 고용량 Slow 세계 모델은 일반화 가능한 시공간 표현을 제공하고, 가벼운 Fast 분기는 행동 예측을 담당한다. 초록에 따르면 Fast 분기는 NVIDIA RTX 4090에서 30 Hz 행동 예측을 수행한다.

결과와 한계

실제 로봇 제로샷 평가에서 대상 로봇 데이터만 사용한 설정의 성공률은 36.1%였으며, 학습 규모를 12만 시간 이상의 신체 비디오로 확장하자 77.8%로 상승했다고 논문은 보고한다. 이는 비디오 사전 학습이 단순한 외형 인식뿐 아니라 물체의 움직임, 접촉 과정, 여러 단계의 상호작용에 관한 재사용 가능한 지식을 제공할 가능성을 보여준다.

다만 비디오만으로는 정밀한 모터 명령, 힘 피드백, 다른 로봇의 물리적 제약을 직접 알 수 없다. 따라서 관찰된 행동을 다른 로봇에서 안정적으로 실행하려면 비디오-행동 정렬과 대상 로봇에 대한 추가 조정이 여전히 필요하다. 제공된 초록에는 세부 과제 구성, 데이터 출처와 분포, 각 구성 요소에 대한 절제 실험이 포함되어 있지 않다. 따라서 비디오 규모와 성능 향상의 관계가 모든 환경에서 선형적이거나 보편적이라고 단정하기는 어렵다.

의미와 영향

ZimaBlue의 중요한 관점은 로봇 데이터의 역할을 나누는 데 있다. 로봇 궤적은 특정 플랫폼에서 행동을 실행하는 방법을 가르치고, 대규모 비디오는 다양한 물리적 경험을 제공한다. 이 방식이 더 많은 로봇과 과제에서 재현된다면 로봇 학습은 값비싼 전용 궤적을 계속 모으는 방식에서, 대규모 비디오 사전 학습과 소량의 플랫폼별 적응을 결합하는 방식으로 이동할 수 있다.

Slow-Fast 구조는 배치 관점에서도 의미가 있다. 풍부한 세계 표현을 만드는 계산과 제어 루프에 필요한 빠른 행동 출력을 하나의 동일한 경로에서 모두 처리할 필요는 없다. 비동기 분업을 통해 모델의 표현력과 낮은 지연 시간을 함께 달성할 수 있는지가 앞으로 중요한 검증 대상이다.

출처: Hugging Face Daily Papers