로봇은 왜 ‘사람이 일하는 영상’을 보기 시작했나: Riemann-1.0의 의미

도입

WAIC 2026에서 공개된 Riemann-1.0이 주목받은 이유는 RoboCasa-365에서 62.6%의 성공률을 내고 기존 SOTA보다 8.4%포인트 높았기 때문만은 아니다. 더 중요한 지점은 학습 방식이다. 로봇 데이터만 모으는 대신, 사람이 요리하고 옷을 접고 식탁을 정리하는 1인칭 영상을 대량으로 학습한 뒤, 이를 로봇이 실행할 수 있는 행동으로 맞춰 간다.

핵심 포인트

• 데이터 구성이 달라졌다: Riemann-1.0은 약 23.2만 시간의 데이터로 학습됐다. 이 중 20만 시간 이상은 인간 1인칭 영상이며, 1.2만 시간 이상의 UMI 및 외골격 장갑 데이터, 2만 시간 이상의 실제 로봇 및 시뮬레이션 궤적도 포함된다. 데이터는 41종의 로봇 본체를 포괄한다.
• 혼합형 모델을 지향한다: 이 모델은 World Action Model로 설명된다. 즉시 행동을 출력하는 VLA 계열의 장점과, 행동 이후 환경이 어떻게 변할지 예측하는 세계 모델의 장점을 결합하려는 접근이다.
• 문제는 행동 라벨의 부재다: 인간 영상에는 로봇 관절 각도나 그리퍼 힘 같은 제어 신호가 없다. 리만동력은 영상 보정, VLM 기반 세부 동작 분할, 품질 필터링, 손의 3D 자세 복원, 세계 좌표계에서의 궤적 추정을 거쳐 영상을 학습 가능한 단서로 바꾼다.
• 학습은 이해에서 실행으로 이동한다: 먼저 인간 영상으로 물리적 직관을 익히고, 이어 UMI와 로봇 행동 데이터로 보정한 뒤, 마지막에는 로봇 데이터로 실행 제어 능력을 강화한다. 원문에서 언급된 행동 손실 가중치는 0.1에서 0.5, 0.9로 커진다.

의미와 영향

가장 중요한 메시지는 인간 영상이 단순히 데이터 양을 늘리는 역할에 그치지 않았다는 점이다. RoboCasa-365의 소거 실험에서 인간 영상을 추가하자 성공률은 48.2%에서 62.6%로 올랐다. EgoVLA 벤치마크에서도 긴 다단계 작업과 보지 못한 시각 배경에서 성능 향상이 보고됐다.

이는 구현 AI의 오래된 병목인 데이터 문제에 대한 현실적인 방향을 보여준다. 로봇 원격조작 데이터는 비싸고 수집 속도가 느리며 하드웨어에 묶이기 쉽다. 반면 인간 작업 영상은 풍부하고 다양하며, 물체를 다루는 방식, 작업 순서, 환경 변화에 대한 정보가 담겨 있다. 이 정보를 추출해 로봇 제어와 정렬할 수 있다면 가정, 물류, 실험실 자동화 같은 긴 작업에서 강점이 생긴다.

물론 벤치마크 성적과 데모가 곧바로 상용 배치를 보장하지는 않는다. 안전성, 하드웨어 비용, 예외 상황 복구, 장시간 안정성은 여전히 과제다. 그럼에도 Riemann-1.0은 다음 세대 로봇 파운데이션 모델이 “로봇 궤적만 학습하는 단계”를 넘어 “인간이 물리 세계를 바꾸는 방식을 관찰하는 단계”로 이동하고 있음을 보여준다.

출처: 量子位