LIBERO-Industry, 공장 제약 속 로봇 조작 능력을 평가하다

서론

벤치마크 환경에서 물체를 집을 수 있다는 사실만으로 로봇이 공장에 투입될 준비가 됐다고 보기는 어렵습니다. 다품종 소량 생산에서는 제품이 계속 바뀌고, 자재가 컨베이어를 따라 움직입니다. 로봇은 제한된 시간 안에 작업을 끝내야 하며, 허용 범위가 좁은 위치에 물체를 정확히 배치해야 합니다. 이 과정에서는 작은 인식 및 제어 오차도 누적되어 전체 작업 실패로 이어질 수 있습니다.

생산라인 조건을 평가 과제로 바꾸다

퉁지대학교 IAIE Physical AI Group 연구진은 이러한 간극을 줄이기 위해 LIBERO-Industry를 제안했습니다. 널리 사용되는 로봇 학습 벤치마크 LIBERO를 기반으로, 제조 현장에서 반복적으로 등장하는 제약을 통제 가능한 조건과 측정 가능한 성공 기준으로 변환한 것이 핵심입니다.

벤치마크는 다음 세 가지 작업 시나리오를 포함합니다.

• Static-to-Dynamic(S2D) 적재: 정지한 물체를 움직이는 대상이나 흐름 위에 올립니다.
• Dynamic-to-Static(D2S) 하역: 움직이는 자재 흐름에서 물체를 꺼내 고정된 위치에 놓습니다.
• Dynamic-to-Dynamic(D2D) 이송: 두 개의 동적 과정 사이에서 물체를 옮깁니다.

전체 과제는 216개이며, 물체의 형상, 컨베이어 속도, 상호작용 가능 시간, 배치를 허용하는 영역의 크기를 체계적으로 변화시킵니다. 이를 통해 제품 변화, 속도, 시간 압박, 위치 정밀도 가운데 어떤 요인이 정책을 어렵게 만드는지 따로 살펴볼 수 있습니다. 여러 제약이 동시에 적용될 때 성능이 어떻게 무너지는지도 비교할 수 있습니다.

실험이 보여준 범용 정책의 한계

연구진은 비전-언어-행동 모델과 월드-액션 모델을 포함한 5개 범용 로봇 정책을 평가했습니다. 시뮬레이션에서는 산업 제약이 하나씩 도입되고 서로 결합될수록 정책 성능이 점진적으로 떨어졌습니다. 이는 정적이고 정돈된 환경에서의 성공이 움직이는 대상, 짧은 사이클 타임, 다양한 제품 형상, 좁은 배치 허용 범위에 대한 강건성을 보장하지 않는다는 점을 보여줍니다.

학습 조건에 대한 비교도 진행됐습니다. 동일한 미세조정 및 평가 절차를 적용했을 때, LIBERO-Industry 조건을 포함해 공동 학습한 경우 실제 실험에서 기존 LIBERO 조건만 사용한 경우보다 높은 목표 이송 완료 성능을 기록했습니다. 이 결과는 특정 모델이 모든 상황에서 우월하다는 의미라기보다, 산업 현장에 가까운 변동성을 학습 과정에서 경험하는 것이 관련 조작 능력 향상에 도움이 될 수 있음을 시사합니다.

연구와 산업에 주는 의미

LIBERO-Industry의 가장 큰 의미는 ‘산업적으로 준비됐는가’라는 추상적인 질문을 속도, 시간, 형상, 허용 오차 같은 측정 가능한 항목으로 나눴다는 데 있습니다. 연구자는 공통 조건에서 정책을 비교하고, 어떤 제약이 실패를 유발하는지 더 구체적으로 분석할 수 있습니다.

다만 이 벤치마크의 결과를 곧바로 대규모 공장 배치 가능성으로 해석해서는 안 됩니다. 실제 현장에는 안전 규정, 장비별 차이, 이상 상황 복구, 부품 마모, 장시간 운용 안정성 같은 추가 문제가 존재합니다. LIBERO-Industry는 범용 로봇 연구와 산업 검증 사이를 잇는 통제된 평가 단계로 보는 것이 적절합니다. 기존 벤치마크가 놓치기 쉬웠던 생산 공정 제약을 먼저 측정하고, 이후 더 복잡한 현장 검증으로 나아가게 하는 기반이 될 수 있습니다.

출처: Hugging Face Daily Papers