HumanoidToolBench, 도구 선택부터 이동 실행까지 휴머노이드 평가

들어가며

도구 사용은 휴머노이드가 자신의 신체적 한계를 넘어서는 데 필요한 핵심 능력입니다. 빗자루는 팔이 닿는 범위를 넓히고, 특정 도구는 말단 작동기의 기능을 바꿀 수 있습니다. 하지만 도구 사용은 물체를 집는 행위만을 뜻하지 않습니다. 로봇은 과제의 목적을 이해하고 후보 중 적절한 도구를 선택한 뒤, 안정적으로 잡고 조작해야 합니다. 과제에 따라서는 자세를 유지하면서 이동하는 능력도 필요합니다.

기존 로봇 벤치마크는 파지나 단일 조작처럼 특정 기능을 따로 평가하는 경우가 많았습니다. 그 결과 휴머노이드가 실제 환경에서 수행해야 하는 연속적인 도구 사용 과정을 한 번에 확인하기는 어려웠습니다. SNU PI 연구팀이 제안한 HumanoidToolBench는 이 평가 공백을 겨냥합니다.

핵심 내용

• 전체 도구 사용 과정 평가. 18개 과제는 3개 시나리오, 3개 실행 수준, 2개 도구 세트 방식으로 구성됩니다. 도구 선택과 조작, 이동을 포함한 실행 능력을 구분해 살펴볼 수 있습니다.
• 시뮬레이션과 실기 데이터를 함께 제공. ToolBook에는 시뮬레이션과 실제 Unitree G1에서 수집한 약 3,100개의 시연이 포함됩니다. 정책 학습과 비교 평가를 위한 데이터 기반입니다.
• 올바른 선택이 성공을 보장하지 않음. 연구팀은 시뮬레이션에서 7개 정책, 실제 로봇에서 3개 정책을 평가했습니다. 그 결과 적절한 도구를 고르는 능력과 최종적으로 과제를 완료하는 능력 사이에 상당한 차이가 나타났습니다. 선택 이후의 파지, 조작, 이동 단계에서 실패할 수 있다는 뜻입니다.
• 일반화와 지시 준수의 한계. GR00T N1.7을 대상으로 한 추가 실험에서는 학습 과정에서 보지 못한 도구에 대한 선택 정확도가 낮아졌습니다. 또한 무관한 지시가 주어져도 기존 과제를 계속 수행하는 현상이 관찰되어, 지시 이해와 행동 제어의 취약점이 드러났습니다.

의미와 영향

HumanoidToolBench의 의미는 과제 수를 늘린 데만 있지 않습니다. 이 벤치마크는 “무엇을 선택할 것인가”와 “어떻게 사용할 것인가”를 하나의 평가 흐름으로 연결합니다. 휴머노이드의 도구 사용에는 시각 인식, 의미적 대응, 팔의 협응, 전신 제어, 보행이 함께 관여합니다. 특정 단계만 측정하면 실제 시스템의 능력을 과대평가할 수 있지만, 단계별 결과와 최종 성공 여부를 함께 기록하면 실패 원인을 더 정확히 분석할 수 있습니다.

이번 결과는 익숙한 물체에서의 성공률만으로 범용 로봇 모델을 평가하기 어렵다는 점도 보여줍니다. 보지 못한 도구, 달라지는 도구 목록, 무관한 지시는 실제 배치 환경의 불확실성과 더 가깝습니다. 안정적인 시스템은 선택과 실행 사이에 피드백을 둬야 합니다. 파지가 불안정하거나 도구가 기대한 효과를 내지 못하거나 상태가 바뀌면, 처음 계획을 반복하는 대신 판단을 갱신해야 합니다. 코드와 데이터가 공개된 HumanoidToolBench는 이런 엔드투엔드 능력을 재현 가능하게 연구할 출발점을 제공합니다.

출처: Hugging Face Daily Papers