RoboColosseum, 실제 환경에서 로봇 정책을 대규모 평가

들어가며

실제 로봇 정책을 평가할 때 환경과 하드웨어의 차이는 중요한 정보를 제공하지만, 실험 결과를 재현하기 어렵게 만들기도 합니다. RoboColosseum은 통합 정책 서빙과 표준화된 평가 절차를 결합해 여러 지역에서 운영되는 로봇을 분산 평가 네트워크로 연결합니다. 이를 통해 한 연구실의 통제된 시연을 넘어, 서로 다른 로봇 본체와 환경에서 정책이 얼마나 일반화되는지 살펴봅니다.

핵심 내용

• 네 가지 로봇 본체를 평가. SO-101, Franka, Bimanual-YAM, G1 Humanoid를 대상으로 다섯 개의 비전-언어-행동 정책과 세 개의 프런티어 AI 에이전트를 비교했습니다.
• 두 가지 트랙을 운영. Open Track에서는 작업별 적응 없이 조건을 맞춘 블라인드 일대일 비교를 진행했습니다. Fine-tune Track에서는 20개 작업에 대해 모든 정책에 동일하게 작업당 100개의 시연 데이터를 제공해 적응 능력을 측정했습니다.
• 프런티어 에이전트도 경쟁력. 124개 사이트에서 5,699회의 Open Track 비교를 수행한 결과, 프런티어 에이전트는 전문 VLA 정책에 맞먹는 성능을 보였습니다. 그러나 어떤 시스템도 오픈월드 작업을 안정적으로 완료하지는 못했습니다.
• 미세조정이 순위를 바꾼다. 미세조정 후 SO-101에서는 GR00T N1.7이, Franka와 Bimanual-YAM에서는 pi0.5가 앞섰습니다. 본체별 작업 모음의 순위 일치도는 낮았고 Kendall의 W는 0.24였습니다. Open Track 순위 역시 미세조정 후 상대 성능을 제대로 예측하지 못했으며, 상당한 순위 역전이 발생했습니다.
• 실패에도 정도가 있다. G1 Humanoid의 다섯 작업에서는 어떤 정책도 작업을 완료하지 못했습니다. 그럼에도 평균 진척도는 13.3%에서 23.2%로 달랐습니다. 이 결과는 이진 성공률만으로는 정책 간 차이를 충분히 설명할 수 없음을 보여줍니다.

의미와 영향

RoboColosseum의 핵심 시사점은 로봇 정책을 하나의 고정된 순위로 평가하기 어렵다는 점입니다. 성능은 로봇의 형태, 작업 구성, 미세조정 여부에 따라 달라집니다. 제로샷 평가에서 앞선 정책이 새로운 작업에 적응한 뒤에도 최선이라는 보장은 없습니다.

평가 지표 측면에서도 변화가 필요합니다. 작업을 끝까지 완료했는지만 보면, 핵심 단계까지 진행한 정책과 초기에 즉시 실패한 정책이 같은 실패로 분류됩니다. 부분 진척도를 함께 측정하면 정책이 어느 단계까지 수행했는지, 어려운 작업에서도 어떤 시스템이 더 꾸준히 전진하는지 파악할 수 있습니다. 특히 휴머노이드처럼 완료율이 낮은 영역에서 이러한 정보는 더욱 중요합니다.

연구는 시험이 누적될수록 Open Track 순위가 안정되며, 능동적 매칭을 사용하면 균일한 샘플링보다 적은 실제 로봇 시험으로 비슷한 순위 일치도를 얻을 수 있다고 보고합니다. 이는 대규모 실물 평가의 비용을 낮출 가능성을 보여줍니다. 다만 이번 결과는 초기 연구입니다. 더 많은 사이트와 작업, 안전 절차를 포함해야 범용 물리 지능에 대한 신뢰도 높은 평가로 발전할 수 있습니다.

Hugging Face Daily Papers