PrimeSim, 이기종 로봇 데이터로 장기 실행 가능한 세계 모델 시뮬레이터 구축

개요

로봇 세계 모델이 유용한 시뮬레이터가 되려면 그럴듯한 영상을 만드는 것만으로는 부족합니다. 명령된 행동에 따라 상태를 바꾸고, 여러 카메라에서 동일한 장면을 일관되게 표현하며, 긴 시간 동안 자체 예측을 이어가도 결과가 무너지지 않아야 합니다. PrimeSim은 사전 학습된 비디오 생성 모델을 기반으로 이러한 조건을 만족하는 행동 조건부·멀티뷰 로봇 세계 모델을 구축하려는 접근입니다.

핵심 설계

PrimeSim은 먼저 22개 로봇 플랫폼에서 수집한 총 3만110시간의 시연 데이터로 중간 학습을 진행합니다. 로봇마다 구조와 제어 인터페이스가 다르기 때문에 동일한 의미의 행동도 표현 방식이 달라질 수 있습니다. 연구진은 이를 줄이기 위해 이기종 로봇에 공통으로 적용할 수 있는 통합 행동 표현을 만들고, 프레임과 정렬된 이중 경로 조건화를 사용해 행동 입력과 영상 변화의 연결을 강화했습니다.

멀티뷰 일관성을 위해서는 시점 인식 인터리브 어텐션을 도입했습니다. 각 카메라에 명시적인 정체성을 부여해 서로 다른 시점이 물체와 장면 상태에 관한 정보를 교환하도록 하면서도, 카메라별 특징은 유지합니다. 목표는 카메라마다 물체 위치, 접촉 관계, 변형 상태가 다르게 생성되는 문제를 줄이는 것입니다.

후속 학습 단계에서는 양방향 비디오 생성기를 자기회귀형 시뮬레이터로 바꿉니다. ‘빠른 비디오, 느린 메모리’ 프레임워크는 인과적 생성, 자기 롤아웃 학습, 계층형 시간 메모리를 결합합니다. 실제 프레임으로만 학습하지 않고 모델이 직접 만든 과거 기록도 학습에 사용해, 추론 중 작은 오류가 반복되며 커지는 상황에 대응합니다. 선택된 KV 캐시 메모리는 생성 구간 사이에 장기 문맥을 전달합니다.

결과와 한계

PrimeSim은 세 개의 카메라 뷰를 함께 생성하면서 10.1 FPS의 추론 속도를 보였습니다. 제공된 결과에 따르면 비교된 오픈소스 행동 조건부 세계 모델 가운데 EWMBench 종합 점수가 가장 높았고, WorldSimProbe의 다섯 개 테스트 묶음 중 네 곳에서 앞섰습니다. 다만 세밀한 국소 보정에서는 일부 기준 모델보다 뒤처졌습니다. 따라서 장기적으로 자연스러운 롤아웃이 곧 정확한 물리 예측을 의미하지는 않습니다.

학습에 포함되지 않은 로봇 플랫폼에도 100~200회의 그래디언트 스텝으로 적응했으며, 사전 학습된 백본만으로는 같은 전이가 나타나지 않았습니다. 또한 PrimeSim을 환경으로 사용한 GRPO 후처리에서 LIBERO 성공률이 61.7%에서 73.2%로 상승했습니다. 모델의 성공 예측은 물리 시뮬레이터와 유사한 정책 순위를 제공해, 정책 후보를 고르는 용도로 활용될 가능성을 보였습니다.

그러나 모든 실험은 AgiBot G2, LIBERO, RoboTwin 등 시뮬레이션 환경에서 진행됐습니다. 실제 로봇은 사용되지 않았으며 폐루프 하드웨어 배포는 향후 과제입니다. 따라서 10.1 FPS는 추론 성능을 보여주는 수치이지, 현실 제어 루프의 신뢰성을 입증한 결과는 아닙니다.

의미와 영향

PrimeSim의 중요한 점은 행동 조건화, 멀티뷰 표현, 장기 메모리, 정책 평가를 하나의 시뮬레이터 지향 파이프라인에 결합했다는 데 있습니다. 실제 로봇에서도 안정적으로 작동한다면 고가의 실물 장비 사용 시간을 줄이고, 여러 로봇 본체에 걸친 정책 탐색을 효율화할 수 있습니다.

다만 국소적인 물리 정확도와 시뮬레이션에서 현실로의 전이는 여전히 핵심 과제입니다. PrimeSim은 실험을 완전히 대체하는 검증된 로봇 환경이라기보다, 범용 로봇 세계 모델로 나아가는 유의미한 단계로 보는 편이 타당합니다. 모델 가중치와 추론·학습 코드는 11월 6일 공개될 예정입니다.

출처: Hugging Face Daily Papers