로봇 정책의 벤치마크 성공률은 정책이 어떻게 움직이는지만으로 결정되지 않습니다. 작업을 성공으로 표시하는 손으로 작성한 판정 코드도 점수에 영향을 줍니다. 하지만 전문가 시연 하나를 판정기가 받아들였다고 해서, 그 규칙이 작업의 의미를 제대로 이해한다고 볼 수는 없습니다. 학습된 정책은 일부 단계만 수행하고 멈출 수 있고, 시연과 다른 방식으로 지시를 완료할 수도 있습니다. 이때 미완료 실행을 성공으로 인정하는 ‘허위 성공’이나, 실제로 지시를 충족한 실행을 실패로 처리하는 ‘조용한 실패’가 생길 수 있습니다. 두 오류 모두 점수가 정책의 실제 능력을 제대로 반영하지 못하게 만들 수 있습니다.
논문은 작업 지시와 판정기 코드의 관계를 살펴보는 LLM 기반 파이프라인 SimAudit을 제안합니다. 먼저 두 요소가 서로 어긋날 수 있는 상황을 찾고, 이를 시뮬레이션에서 재현한 뒤 기존 판정기를 실행합니다. 이후 여러 시점에서 렌더링한 화면을 활용해 동작이 지시를 충족하는지 검토합니다. 연구진은 시각 검증을 잠재적 결함을 걸러내는 단계로 설명하며, 정답 자체로 간주하지 않습니다. 보고된 결함 61건은 두 명의 인간 평가자가 각각 확인했다고 밝혔습니다. 이 검증에서 시각 검증이 올바른 판정을 잘못 뒤집은 사례는 관찰되지 않았지만, 시각 모델이 오류를 내지 않는다는 뜻은 아닙니다.
주요 결과:
- RoboTwin 2.0, RoboCasa365, RoboDojo에서 시뮬레이션 테스트 183건이 예상한 판정 결과를 냈습니다.
- 시각 검증과 중복 제거 후 49개 작업에서 서로 다른 결함 61건을 확인했습니다. 허위 성공은 40건, 조용한 실패는 21건입니다.
- RoboCasa365에서는 미완료 실행을 받아들이는 오류가 주를 이뤘고, RoboDojo에서는 유효한 실행을 거부하는 오류가 더 많았습니다. RoboTwin 2.0에서는 두 유형이 모두 흔했습니다.
이 수치는 구성된 테스트 사례에서 발견한 결함 건수이지, 각 벤치마크 전체의 오류율을 추정한 값은 아닙니다. 핵심은 전문가 시연만으로 판정기를 검증하는 방식에 한계가 있다는 점입니다. 시연의 궤적만 인정하는 규칙은 다른 방식으로 지시를 완료한 유효한 실행을 놓칠 수 있습니다. 반대로 확인 조건이 지나치게 느슨하면 작업이 끝나지 않았는데도 성공으로 처리할 수 있습니다. 따라서 평가 과정에서는 아직 완료되지 않은 실행뿐 아니라, 시연과 다르더라도 지시를 충족하는 사례도 함께 시험해야 합니다.
이 연구는 로봇 연구에서 정책뿐 아니라 성능을 측정하는 도구도 점검해야 한다는 점을 강조합니다. 성공률은 저절로 객관적인 능력 지표가 되는 것이 아니라, 작업의 의미와 판정 로직이 일치하는지에 달려 있습니다. SimAudit은 불일치를 체계적으로 찾는 방법을 제시하지만, 특정 정책의 성능을 직접 입증하거나 인간의 판단을 대체하지는 않습니다. 벤치마크 개발자가 판정기를 지속적으로 시험하고 관리한다면 점수를 더 신뢰성 있게 해석하고 정책 간 비교에서 라벨 오류의 영향을 줄이는 데 도움이 될 수 있습니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…