RoboValue, 로봇 가치 모델을 위한 세밀한 평가 기준 제시

로봇이 작업을 끝까지 수행했다는 사실만으로는 실행 과정이 신뢰할 만했다고 말하기 어렵습니다. 로봇은 현재 어떤 상태에 있는지, 목표에 가까워지고 있는지, 실패가 발생했다면 이후 행동이 실제로 회복을 이끌고 있는지를 계속 판단해야 합니다. 로봇 가치 모델은 시각 관찰과 작업 지시, 실행 이력을 바탕으로 이런 판단을 제공하며, 정책 학습과 실행 모니터링에 활용될 수 있습니다.

하지만 기존 평가가 최종 성공률이나 단일 진행 점수에 집중하면 중간 판단의 오류를 놓치기 쉽습니다. RoboValue는 이 문제를 해결하기 위해 시뮬레이션과 실제 조작 환경을 아우르는 세밀한 평가 프레임워크를 제안합니다.

네 가지 능력을 분리해 평가

RoboValue는 가치 모델을 다음 네 가지 축으로 살펴봅니다.

• 작업 상태 이해: 시각 관찰과 지시를 바탕으로 현재 작업 상태를 파악하는가.
• 시간적 진행 모니터링: 실행 이력을 고려해 작업이 진전되는지, 멈춰 있는지, 목표에서 벗어나는지 구분하는가.
• 실패 및 회복 추론: 실패의 영향을 파악하고, 뒤따르는 행동이 효과적인 회복인지 판단하는가.
• 가치 일관성: 지시 표현이나 유효한 실행 순서가 달라져도 판단이 합리적으로 유지되는가.

진단 궤적과 지시 변형을 사용한다는 점이 핵심입니다. 모델이 단순히 성공과 실패를 맞히는지 보는 것이 아니라, 실행의 각 시점에서 작업 요구사항과 행동의 의미를 제대로 반영하는지 확인하기 때문입니다. 따라서 평가 대상은 결과 점수뿐 아니라 중간 단계에 제공되는 가치 피드백 자체입니다.

시뮬레이션과 실제 세계를 함께 다뤄

RoboValue-Dataset에는 15개의 시뮬레이션 조작 작업과 20개의 실제 조작 작업이 포함됩니다. 학습을 위한 전문가 시연과 세밀한 평가를 위한 주석 처리된 궤적이 함께 제공됩니다. Full-Shot 및 One-Shot 학습 서브셋은 LeRobot v3.0 형식으로 공개돼 기존 로봇 학습 파이프라인에 연결하기도 쉽습니다.

연구진은 Zero-Shot과 One-Shot 조건에서 대표적인 로봇 가치 모델을 평가했습니다. 또한 로봇의 신체 구성 변화에서 생기는 분포 이동과 환경 변화에서 생기는 이동을 분리해 살폈습니다. 이 구분은 모델이 작업 개념을 이해하지 못한 것인지, 아니면 새로운 로봇 형태나 장면에 적응하지 못한 것인지 분석하는 데 도움이 됩니다.

최종 점수만으로는 보이지 않는 오류

보고된 결과에 따르면 최종 결과와 전진 방향의 진행 점수에서 강점을 보이는 모델도 세밀한 지시 연결, 과거 실행에 의존하는 진행 추적, 실패 이후 회복 평가에서는 실수할 수 있습니다. 의미상 같은 하위 작업이라도 유효한 실행 순서가 달라지면 얻는 가치 증가량이 크게 달라지는 경우도 나타났습니다.

이는 가치 모델이 행동의 외형만 보는 것이 아니라, 전체 작업 맥락 속에서 그 행동이 어떤 의미를 갖는지 안정적으로 이해해야 한다는 점을 보여줍니다. 이런 차이를 놓치면 정책 학습이 실제 작업을 진전시키는 행동보다 겉보기에는 그럴듯한 행동을 보상할 수 있습니다.

RoboValue의 의미는 새로운 순위표를 추가했다는 데만 있지 않습니다. 어떤 종류의 가치 감독이 부족한지 진단하고, 로봇 형태와 환경이 달라질 때 피드백의 신뢰성이 어떻게 변하는지 비교할 수 있는 공통 인터페이스를 제공한다는 점이 중요합니다. 실제 배포 테스트를 대신할 수는 없지만, 로봇 가치 모델 평가를 최종 성공 여부에서 실행 과정 전체의 일관성과 신뢰성으로 확장했다는 점에서 의미가 있습니다.

출처: Hugging Face Daily Papers