HexaShell, VLM 코딩 에이전트로 로봇 제어의 한계 탐색

들어가며

시각언어모델(VLM)은 이미지를 이해하고 코드를 생성하며 도구를 호출하는 능력을 갖추고 있습니다. 하지만 도구의 대상이 컴퓨터 화면이 아니라 실제 로봇이라면 문제가 훨씬 복잡해집니다. 에이전트는 장면을 보고 공간 관계를 추정한 뒤 팔을 움직여야 하며, 물체와 안정적으로 접촉하는 과정까지 처리해야 합니다. HexaShell은 코딩 에이전트가 로봇을 직접 제어할 때 어느 정도까지 작업을 수행할 수 있는지 탐색합니다.

최소한의 하네스

HexaShell은 시스템이 많은 전략을 대신 수행하지 않도록 설계됐습니다. 하네스의 주요 역할은 에이전트가 내린 명령을 로봇 동작으로 바꾸는 것입니다. 에이전트는 하나의 명령줄을 통해 양팔 로봇을 조작하고, 세 대의 RGB 카메라 영상과 카메라 보정 정보를 받습니다.

시도가 실패하면 에이전트는 실행 로그를 읽고 원인을 추정한 뒤, 작은 프로그램인 도구를 새로 작성하거나 수정합니다. 이는 코딩 에이전트가 실패한 테스트를 분석하고 수정 사항을 코드로 남기는 과정과 비슷합니다. 따라서 경험은 일회성 추론에 머무르지 않고 다음 시도에서 재사용할 수 있는 절차로 축적됩니다.

관측 정보만으로 공간 추정

HexaShell의 도구는 로봇이 관측할 수 있는 정보만 사용할 수 있습니다. 위치와 상대적 배치를 추정하는 방식은 다음과 같습니다.

• 두 카메라가 같은 지점을 바라보면 각 카메라의 시선이 만나는 지점을 계산한다.
• 점이 테이블이나 블록 윗면처럼 알려진 평면 위에 있다면, 카메라 시선과 그 평면의 교차점을 구한다.
• 헤드 카메라만으로 충분하지 않으면 로봇이 손목 카메라를 움직여 추가 시점을 확보한다.

이 구조에서는 완성된 작업별 정책이나 숨겨진 상태 정보를 시스템이 미리 제공하지 않습니다. 에이전트가 이미지, 기하 계산, 로그, 코드 도구를 결합해 필요한 작업 절차를 스스로 만들어야 합니다.

평가 결과

연구진은 각 과제에서 하나의 시드에 속한 열 개 레이아웃만 사용해 도구를 구성했습니다. 이후 도구를 고정하고 같은 시드의 새로운 열 개 레이아웃에서 평가했습니다. 이는 도구가 처음 본 장면을 단순히 기억한 것인지, 다른 배치에도 적용 가능한 절차를 만들었는지 살펴보기 위한 설정입니다.

RoboDojo의 전체 42개 과제에서 HexaShell은 39.7%의 평균 성공률과 48.0의 진행 점수를 기록했습니다. 점수는 리더보드와 동일한 방식으로 평균화됐으며, 논문은 이를 RoboDojo의 새로운 최고 성능으로 설명합니다. 시스템은 중간 수준의 추론 강도로 설정한 Codex와 GPT-6-Astra를 사용했습니다. 다만 이 수치는 특정 벤치마크와 평가 조건에 따른 결과이며, 범용 로봇 지능을 뜻하지는 않습니다.

의미와 한계

HexaShell의 핵심적인 의미는 코드가 에이전트의 외부 기억 역할을 할 수 있다는 점입니다. 실패를 통해 만들어진 도구는 확인하고 재사용하며 수정할 수 있는 형태로 남습니다. 연구자 입장에서도 로그와 도구를 살펴보며 에이전트가 무엇을 잘못 판단했는지 분석하기 쉬워집니다.

논문이 제시하는 가장 중요한 한계는 추론보다 접촉입니다. 모델이 목표를 찾고 그럴듯한 순서를 생성하더라도, 작은 위치 오차와 가림, 물체를 잡거나 미는 과정의 물리적 특성 때문에 실패할 수 있습니다. 앞으로 로봇 코딩 에이전트를 발전시키려면 프롬프트나 추론 길이를 늘리는 것뿐 아니라 접촉 불확실성과 물리적 강건성을 다루는 기술이 필요합니다.

출처: Hugging Face Daily Papers