로봇 인프라 기업 XDOF가 공개한 Ember-0 평가에서 GPT-6.2 Astra는 양팔 로봇이 수행하는 16개 조작 과제의 평균 성공률 41.2%를 기록했다. 두 달 전 같은 과제군에서 GPT-6 Astra가 기록한 19.6%보다 21.6%포인트 높고, 기존 성적의 두 배를 넘는다. 눈에 띄는 향상이지만 평균 성공률이 아직 절반에 못 미친다는 점도 함께 봐야 한다. 즉, 이번 결과만으로 로봇이 해당 작업을 안정적으로 해낸다고 보기는 어렵다.
평가에서 보고된 핵심
- 여러 종류의 조작 능력을 평가했다. Ember-0에는 물체 잡기, 공간 추론, 양팔 협업, 도구 사용, 정밀 조작, 변형 물체 다루기 등이 포함된다. XDOF는 과제별로 30회 반복했고, YAM 워크스테이션 6대를 병렬로 사용했다고 밝혔다. 작업의 세부 단계, 파지 실패, 충돌도 기록해 모델 성능과 하드웨어·무작위 요인의 영향을 구분하려 했다.
- 천과 끈을 다루는 작업에서 성과가 나왔다. GPT-6.2 Astra는 끈 묶기와 티셔츠 펼치기를 완료했다. XDOF에 따르면 티셔츠 펼치기 과제는 이전에 유효한 시험을 143회 진행했지만 성공한 모델이 없었다. 집게로 빵을 집는 과제의 성공률도 GPT-6 Astra의 10%에서 GPT-6.2 Astra의 90%로 상승했다. 다만 개별 과제의 수치를 해석할 때는 반복 횟수와 평가 조건을 함께 고려해야 한다.
- 추론 지연은 줄었지만 실시간성은 부족하다. 평균 예측 지연은 15초에서 10.1초로 감소했다고 보고됐다. 개선은 분명하지만, 주변 변화에 맞춰 연속적으로 동작을 수정해야 하는 로봇에는 약 10초도 긴 대기 시간이다. 촉각 피드백이 없고 새로운 동작 출력을 기다려야 하는 조건에서는 실패 후 회복도 쉽지 않을 수 있다.
매듭을 묶거나 옷을 펼치는 작업이 어려운 이유는 끈과 천의 형태가 잡고 당기는 순간마다 달라지기 때문이다. 로봇은 영상으로 옷의 모서리와 주름, 끈의 상태를 파악한 뒤 양팔의 움직임을 조정하고 다음 동작을 계획해야 한다. 잡는 위치나 순서가 어긋나면 앞서 진행한 작업이 무효가 될 수 있다. 형태가 비교적 고정된 상자나 컵과 달리, 이 작업은 상태 추적과 정밀한 접촉 제어, 여러 단계에 걸친 계획을 함께 요구한다.
의미와 남은 한계
이번 결과는 범용 멀티모달 모델이 작업을 이해하거나 그럴듯한 동작을 제안하는 데 그치지 않고, 실제 로봇 조작에서도 개선될 수 있음을 보여주는 평가 사례다. 여러 유형의 과제에서 성적이 올랐다는 점은 단일 과제의 성공보다 넓은 개선 가능성을 시사한다. 그러나 공개된 수치는 하나의 벤치마크에 기반하며, 다른 하드웨어와 환경, 평가에 없던 작업에서도 같은 성능을 낼 수 있다는 증거는 아니다. XDOF는 모델 성능이 높아지면서 Ember-0가 포화에 가까워질 가능성도 언급했다. 향후에는 더 어렵고 다양한 평가가 필요하다. 평균 성공률 41.2%와 약 10초의 추론 지연은 신뢰할 수 있는 일상적 로봇 활용까지 아직 간격이 있음을 보여준다.
출처: 量子位
댓글
로그인 상태 확인 중…
댓글 불러오는 중…