RobotWorld, 다양한 로봇 작업에서 멀티모달 에이전트를 검증하다

들어가며

최근 범용 멀티모달 모델은 코드를 작성하고 도구를 호출하며 복잡한 디지털 작업을 여러 단계로 수행할 수 있습니다. 그러나 물리 세계에서는 단순히 계획을 세우는 것만으로 충분하지 않습니다. 에이전트는 관찰을 해석하고 로봇 인터페이스를 조작한 뒤, 행동의 결과에 따라 다음 동작을 바꿔야 합니다. RobotWorld는 이러한 능력이 로봇 환경으로 얼마나 이전되는지 체계적으로 살펴보는 시뮬레이션 테스트베드입니다.

여러 로봇 형태와 작업을 한 번에 평가

RobotWorld에는 총 84개 과제가 포함됩니다. 대상은 물체 조작, 이동형 조작, 보행, 운전, 비행 제어로 나뉩니다. 각 과제에는 명확한 상호작용 예산과 실행 가능한 성공 검사가 적용되므로, 결과뿐 아니라 제한된 횟수 안에서 어떤 행동을 선택했는지도 확인할 수 있습니다.

이 벤치마크의 또 다른 특징은 실행 추적을 함께 분석한다는 점입니다. 에이전트가 목표를 잘못 이해했는지, 시각 정보를 충분히 얻지 못했는지, 효과가 없는 명령을 수정하지 못했는지, 혹은 이미 끝났다고 잘못 판단했는지를 구분할 수 있습니다.

개별 기술과 전체 행동 사이의 간극

연구 결과에 따르면 현재 에이전트는 이미지 분할, 카메라 보정, 공간 관계 추정, 동역학 기반 계산 등 상당히 정교한 인식·제어 작업 흐름을 구성할 수 있습니다. 로봇을 사용하기 위한 구성 요소를 전혀 갖추지 못한 것은 아닙니다.

문제는 이 요소들이 긴 행동 과정에서 안정적으로 연결되지 않는다는 데 있습니다. 대표적인 실패 유형은 다음과 같습니다.

• 명령된 자세에 도달한 뒤에도 작업에 중요한 물체 상태를 놓치는 경우
• 행동이 효과를 내지 못했는데도 다른 전략으로 전환하지 못하는 경우
• 오류를 너무 늦게 발견해 복구할 기회를 잃는 경우
• 과제가 끝나지 않았는데 완료된 것으로 판단하는 경우

따라서 핵심 병목은 단일한 인식 모듈이나 제어 모듈의 성능만이 아닙니다. 상태를 계속 유지하고, 행동 결과를 확인하고, 실패에 대응하며, 종료 시점을 정확히 판단하는 폐루프가 필요합니다.

모델마다 다른 강점

비교 결과는 평균 점수만으로 모델 능력을 설명하기 어렵다는 점도 보여줍니다. Astra는 공간 관계와 접촉 제약이 있는 목표에서 더 자주 성공했고, Opus 5.5는 연속적인 균형 유지와 시간 제한이 있는 상호작용에서 더 나은 결과를 보였습니다. 앞으로의 평가는 로봇 능력을 하나의 일반 점수로 묶기보다 공간 추론, 접촉 제어, 시간 조정, 지속적 안정성으로 나누어야 합니다.

의미와 향후 과제

RobotWorld의 가치는 로봇 에이전트의 실패를 단순한 점수로 남기지 않고 실행 과정과 연결한다는 데 있습니다. 이를 통해 장기 상태 추적, 행동 후 결과 검증, 빠른 실패 복구, 완료 전 독립 확인 같은 구체적인 개선 목표를 제시할 수 있습니다.

디지털 환경에서 도구를 잘 사용하는 능력이 물리 세계에서 신뢰할 수 있는 행동으로 자동 변환되는 것은 아닙니다. 진정한 로봇 에이전트는 인식, 추론, 제어, 피드백을 하나의 반복 가능한 순환 구조로 연결해야 합니다. RobotWorld는 그 연결이 어디에서 끊기는지 측정할 수 있는 기준을 제공합니다.

출처: Hugging Face Daily Papers