RoboHarness, LLM 에이전트에 로봇 제어 도구를 제공하다

들어가며

범용 로봇 지능을 구축하는 대표적인 방법은 로봇 궤적과 시연 영상을 대규모로 수집한 뒤, 시각·언어·행동을 함께 처리하는 VLA 모델을 학습하는 것이다. 이런 모델은 관찰과 명령을 입력받아 로봇의 동작을 생성한다. RoboHarness는 다른 선택지를 제시한다. 모든 제어 능력을 전용 행동 모델에 넣기보다, 일반 언어 모델이 가진 추론과 계획, 코딩 능력을 로봇 인터페이스를 통해 활용하자는 것이다.

핵심 아이디어

논문에서 RoboHarness는 LLM 에이전트에 시각 정보와 기하학 정보를 결합한 제어 패널을 제공한다. 에이전트는 환경을 해석하고, 과제를 분해하며, 필요한 로봇 기능을 직접 호출할 수 있다. 따라서 모델이 모든 저수준 움직임을 매 순간 새롭게 출력해야 하는 대신, 로봇의 능력을 에이전트가 사용할 수 있는 도구 형태로 노출한다.

이 구조는 코딩 에이전트가 소프트웨어 API와 도구를 사용하는 방식과 닮았다. LLM은 지시 이해, 추론, 작업 계획, 코드 생성 등을 담당하고, 하네스는 그 결정을 로봇의 공간적 제어로 연결한다. 연구의 초점도 행동 데이터와 전용 모델의 규모를 키우는 데서, 범용 모델이 안정적으로 사용할 수 있는 인터페이스를 설계하는 방향으로 이동한다.

보고된 결과

• RoboHarness는 하나의 고정된 동작보다 일반적인 로봇 조작 과제를 겨냥한다.
• VLA 및 월드 액션 모델과 다른 설계 방향을 취한다.
• BEHAVIOR Challenge 2025 과제에서 RoboHarness와 Qwen3.8-Flash-Next의 조합이 최신 VLA 모델을 능가했다고 보고됐다.
• 구현은 오픈소스로 공개돼 있다.

다만 제공된 자료에는 구체적인 점수, 전체 비교 모델 목록, 과제별 결과, 제거 실험이 포함돼 있지 않다. 따라서 얼마나 큰 차이로 앞섰는지, 다른 로봇과 환경에서도 같은 결과가 나오는지는 판단할 수 없다. 실제 로봇, 다른 센서, 처음 접하는 과제로의 확장성 역시 추가 검증이 필요하다.

의미와 한계

RoboHarness의 중요한 점은 체화 지능을 단순히 “더 큰 행동 모델”로만 보지 않고, “로봇 도구를 사용할 수 있는 에이전트”로 설계할 가능성을 보여준다는 데 있다. 제어 인터페이스가 충분히 명확하다면 기존 LLM의 추론과 작업 분해 능력을 새로운 로봇 환경에 재활용하기 쉬워질 수 있다. 모델과 도구, 하드웨어를 모듈식으로 조합할 수 있다는 점도 기대할 만하다.

그러나 그럴듯한 계획을 만드는 것과 물리 환경에서 안정적으로 실행하는 것은 다르다. 공간 추론 오류, 장기 과제, 실패 복구, 안전한 동작 호출은 여전히 중요한 문제다. RoboHarness는 로봇 지능의 미래가 행동을 직접 예측하는 모델뿐 아니라, 로봇이라는 도구를 적절히 사용하는 에이전트로도 확장될 수 있음을 보여주는 시도다.

출처: Hugging Face Daily Papers