World Labs, 세계모델을 로봇 학습 인프라로 확장

도입

페이페이 리가 설립한 World Labs가 세계모델을 단순한 3D 장면 생성에서 로봇 학습의 기반 기술로 확장하고 있다. 최근 인수한 로봇 시뮬레이션 스타트업 SceniX의 역량을 더해, 회사는 Real-to-sim-to-real, 즉 R2S2R 훈련·평가 엔진을 발표했다. 현실의 로봇 작업을 시뮬레이션으로 재구성하고, 그 안에서 정책을 훈련·검증한 뒤 실제 로봇에 다시 배포하는 방식이다.

핵심 내용

• Real-to-Sim은 현실 작업을 디지털 세계로 옮긴다. 시스템은 로봇, 센서, 환경, 물체, 작업 시연 정보를 수집해 실제 과제와 정렬된 상호작용 가능한 가상 세계를 만든다. 단순히 화면이 비슷한 것을 넘어 기하 구조, 물체 움직임, 접촉 반응까지 최대한 맞추는 것이 목표다.
• Sim-to-Real은 그 세계를 훈련장으로 사용한다. 정렬된 시뮬레이션 환경에서 정책을 학습하고 checkpoint를 평가하며, 로봇이 실패하기 쉬운 상태를 능동적으로 찾는다. 이를 통해 약점 발견, 경험 보강, 정책 개선, 실제 배포로 이어지는 반복 루프가 형성된다.
• 평가는 완벽한 수치 일치보다 유용한 정렬이 중요하다. World Labs가 강조하는 것은 시뮬레이션과 현실의 성공률이 완전히 같아야 한다는 점이 아니다. 어떤 정책이 더 나은지, 어디서 성공하거나 실패하는지, 훈련 개선이 실제 하드웨어로 옮겨지는지를 비슷하게 판단할 수 있어야 한다.
• SceniX는 빠진 퍼즐을 채운다. World Labs는 생성형 세계모델, 컴퓨터비전, 3D 재구성에 강점이 있고, SceniX는 로봇 시뮬레이션, 학습 알고리즘, 하드웨어 시스템에 익숙하다. 결합의 방향은 로봇 형태나 모델 아키텍처에 덜 종속적인 학습 인프라다.

의미와 영향

체화지능의 병목은 이제 모델 구조만이 아니다. 실제 로봇 실험은 느리고 비싸며, 실패 후 장면을 다시 세팅하고 시스템을 유지하는 데 많은 비용이 든다. 인터넷 영상이 아무리 많아도 물체 상태, 물리 속성, 실패 조건을 체계적으로 통제한 상호작용 경험을 대체하기는 어렵다.

R2S2R의 의미는 시뮬레이션을 현실 데이터의 값싼 대체재로만 보지 않는 데 있다. 하나의 실제 작업을 다수의 조절 가능하고 재사용 가능한 학습 세계로 확장해, 로봇이 위험하거나 재현하기 어려운 상황도 반복적으로 경험하게 한다. 현실과의 정렬이 충분히 안정적이라면, 세계모델은 정책 선별, 성능 저하 탐지, 추가 데이터 설계, 실제 하드웨어 시행착오 축소에 쓰이는 핵심 계층이 될 수 있다.

이는 페이페이 리가 말한 세계모델의 역할 중 ‘시뮬레이터’를 전면에 내세우는 움직임이기도 하다. 이제 목표는 그럴듯한 세계를 생성하는 것을 넘어, 기계가 그 안에서 행동을 배울 수 있는 세계를 만드는 것이다.

출처: 量子位