최전선 VLM 에이전트는 로봇 범용 지능이 될 수 있을까

들어가며

로봇에게 물체를 집어 지정된 위치에 놓으라고 지시하려면 이미지 인식만으로는 부족합니다. 로봇은 장면을 해석하고, 거리와 규모를 추정하며, 실행 가능한 행동을 고르고, 여러 단계를 순서대로 진행한 뒤, 요구된 물리적 상태가 실제로 만들어졌는지 확인해야 합니다. Embodied Agent Arena는 최신 비전언어모델(VLM)이 이 전체 과정을 수행해 로봇 범용 에이전트가 될 수 있는지 살펴봅니다.

전체 능력 사슬을 시험한 평가

연구진은 10개 VLM 에이전트를 기하, 공간 추론, 어포던스, 작업 계획, 조작이라는 5개 영역에서 평가했습니다. 총 1000개 사례는 32개 기존 데이터 소스와 카메라, 운동, 깊이, 규모 추정을 다루는 168개 GeoProbe 사례로 구성됩니다. 평가 하네스는 최소한으로 설계하고, 각 작업의 핵심 판단은 모델이 직접 내리도록 했습니다.

이 연구의 핵심은 평균 점수보다 모델이 어떤 방식으로 실패하는지 분석했다는 점입니다.

• 폐쇄형 가중치 모델이 5개 영역 모두에서 앞섰습니다. 오픈 가중치 VLM은 유용한 공간 추론을 보여줬지만 작업 계획과 조작 성공률은 크게 낮았습니다.
• 비슷한 기하 오차가 같은 문제를 뜻하지는 않습니다. 어떤 모델은 규모를 잘못 판단하고, 다른 모델은 형태나 공간 관계를 왜곡합니다.
• 이미지에서 올바른 영역을 찾았다고 해서 로봇이 실제로 사용할 수 있는 행동 지점을 찾은 것은 아닙니다.
• 에이전트가 초기 하위 목표를 달성한 뒤에도 물체 제어를 잃거나, 행동을 잘못된 수용 영역에 연결하거나, 필요한 상태를 확인하지 않고 작업을 종료할 수 있습니다.

더 많은 추론이 만능 해법은 아니다

추가 계산과 자기 검토도 일관된 해결책이 아니었습니다. 코드 수정은 중단된 실행을 복구할 수 있지만, 작업의 최종 성공을 보장하지는 않습니다. 자기 검토 역시 실수를 고칠 때가 있는 반면, 이미 맞았던 판단을 뒤집기도 합니다.

이는 구현형 작업의 병목이 단순히 더 오래 생각하는 데 있지 않다는 점을 보여줍니다. 에이전트는 환경의 피드백을 활용하는 폐쇄 루프를 가져야 합니다. 빠진 전제 조건을 찾아내고, 환경 변화에 맞춰 계획을 수정하며, 종료 전에 물리적 결과를 확인해야 합니다.

모델별 실패 비용도 달랐습니다. 계획 능력이 강한 모델은 장시간 신체 제어가 필요한 작업에 실패가 집중됐고, 다른 모델은 여러 절차에서 폭넓게 실패했습니다. 성공한 실행 기록에서는 피드백을 이용해 누락된 조건을 복구한 뒤 남은 계획을 이어가는 패턴이 관찰됐습니다.

의미와 영향

이번 결과는 로봇 범용성을 하나의 시각 또는 공간 점수로 판단해서는 안 된다는 점을 시사합니다. 앞으로는 기하 오차의 종류, 행동의 물리적 실행 가능성, 최종 상태의 실제 충족 여부, 실패 후 회복 과정을 함께 평가해야 합니다. 모델 규모를 키우는 것뿐 아니라 상태 추정, 행동 접지, 실행 모니터링, 피드백 설계가 중요합니다.

현재 VLM은 범용 구현 능력의 일부를 보여주고 있습니다. 그러나 개방된 환경에서 안정적으로 연속 작업을 수행하고, 실패 뒤에도 스스로 복구하는 로봇 범용 에이전트까지는 아직 상당한 거리가 남아 있습니다.

출처: Hugging Face Daily Papers