RoboJev, 비전언어 모델로 로봇 작업 성공 여부 판정

로봇 학습 시스템에는 성공한 시도와 실패한 시도를 구분하는 라벨이 필요합니다. 하지만 실제 조작 데이터는 영상만 저장하고, 해당 작업이 최종적으로 완료됐는지는 기록하지 않는 경우가 많습니다. RoboJev는 이 문제를 겨냥한 모델입니다. 로봇을 직접 제어하는 대신 작업 목표와 관찰된 결과를 분석해 한 에피소드의 성공 여부를 판정합니다.

작동 방식

RoboJev-27B는 JEV-27B-VL을 기반으로 합니다. 입력은 작업 지시문, 조작 시도에서 샘플링한 10개 프레임, 그리고 사용할 수 있을 때 보조 카메라로 촬영한 최종 프레임입니다. 모델은 보정된 두 토큰 판독 방식을 통해 성공과 실패를 예측하며, 한 번의 순전파에서 두 클래스의 확률을 얻습니다.

학습에는 랭크 32 LoRA 어댑터가 사용됐고, 언어 모델 부분만 업데이트했으며 비전 인코더는 고정했습니다. 연구 데이터에 대해서는 소스별 KL 페널티도 적용했습니다. 이는 해당 데이터에서 조정된 모델의 예측이 원래 모델에서 지나치게 벗어나지 않도록 하는 방식입니다. 전체 학습에는 52,598개의 에피소드 기록이 활용됐습니다.

평가 결과

같은 SO-101 로봇 모델에서 수집한 268개 보류 에피소드에서 RoboJev는 균형 정확도 95.2%, AUROC 0.993을 기록했습니다. 한 번도 보지 못한 연구실이나 로봇에서 수집된 459개 에피소드에서도 AUROC 0.890을 달성했습니다. 명확한 라벨이 붙은 커뮤니티 데이터 135개에서는 정확도 93.3%를 보였습니다.

동일한 입력을 사용한 기본 모델은 미확인 연구실·로봇 하위 집합에서 AUROC 0.900을 기록했습니다. 이는 기반 비전언어 모델 자체에도 작업 성패를 판단하는 능력이 일부 존재하지만, 추가 조정을 통해 특정 평가 과제에 맞는 행동을 형성할 수 있음을 보여줍니다. 동시에 로봇 평가에서는 데이터 출처와 분포를 나눠 검증해야 한다는 점도 시사합니다.

추론 효율도 실용성을 뒷받침합니다. H100 한 장에서 에피소드를 직렬 처리할 때 중간값 기준으로 한 건에 0.26초가 걸립니다. GPU 시간당 2.69달러라는 계산을 적용하면 미디어 전처리와 서비스 비용을 제외하고 1,000건당 약 0.19달러로 추정됩니다. 프로젝트는 추론 코드와 함께 20,628개 예측을 29개 모델 또는 프로토콜 항목으로 정리한 평가 자료도 공개했습니다.

의미와 한계

RoboJev의 핵심 가치는 정리되지 않은 로봇 영상을 계산 가능한 결과 라벨로 바꾸는 데 있습니다. 과거 시연 데이터 정리, 학습 샘플 선별, 오프라인 실행 품질 점검 등에 활용할 수 있습니다. 오픈 웨이트와 평가 자료가 함께 제공된다는 점은 재현과 검증에도 유리합니다.

다만 모든 로봇 작업을 안정적으로 이해한다는 뜻은 아닙니다. 모델은 제한된 프레임과 선택적인 최종 화면에 의존하므로 가림, 카메라 시점 변화, 장기 계획, 촉각 정보가 필요한 작업에서는 어려움이 남을 수 있습니다. 익숙하지 않은 데이터에서 성능이 낮아지는 현상도 확인된 만큼 실제 배포에서는 작업 종류, 카메라 구성, 데이터 분포에 맞춘 보정이 필요합니다.

출처: Hugging Face Daily Papers