TARSphere, 변화하는 물리·사회 환경에서 장기 로봇 에이전트를 평가하다

들어가며

가정이나 사무실에서 작동하는 로봇은 고정된 명령과 정적인 공간만 상대하지 않습니다. 물체의 위치가 바뀌고, 사람의 요구가 달라지며, 대화나 예상하지 못한 사건 때문에 과제 자체를 다시 해석해야 할 수 있습니다. TARSphere는 이런 물리적·사회적 변화가 함께 발생하는 환경에서 장기간 행동하는 로봇 에이전트를 평가하기 위한 풀스택 프레임워크입니다.

핵심 구성

• 상호작용을 포함한 시뮬레이션. TARSphere-Infra는 물리 시뮬레이터에서 로봇 정책을 실행하고, 신체를 가진 NPC와 제한된 대화 기능을 제공합니다. 모델이 완료했다고 말하는 것만으로 성공을 인정하지 않습니다. 이벤트 기반 유한상태기계가 행동의 완료 여부와 정보 전달 여부를 바탕으로 과제 상태를 갱신하고 결과를 평가합니다.
• 실행으로 연결되는 모델 하네스. TARSphere-Harness는 고정된 멀티모달 대규모 모델을 여러 수준의 실행 가능한 스킬과 연결합니다. 모델은 관측 정보, 계층적 메모리, 실제 실행에서 돌아온 피드백을 이용해 다음 결정을 수정할 수 있습니다. 이는 로봇 문제를 추상적인 기호 계획이나 텍스트 생성만으로 다루지 않게 합니다.
• 변화를 중심으로 설계된 벤치마크. 연구진은 에이전트가 참여하는 큐레이션 과정을 통해 과제 의미, 인과적 의존성, 장면의 기하 정보를 정렬했습니다. 그 결과 30개 실내 장면에 걸친 360개 에피소드의 TARSphere-Bench가 만들어졌습니다. 내비게이션 후 보고하기와 물건을 가져와 전달하기를 대상으로 지각 강건성, 방해 적응, 과제 갱신, 인간 협업, 의도 이해를 비교합니다.
• 안전성을 별도로 평가. 8개 멀티모달 모델을 평가한 결과, 범용 모델이 체화 모델보다 더 나은 성능을 보이는 경우가 있었습니다. 그러나 과제가 바뀌었을 때의 대응과 사람과의 상호작용은 여전히 어려웠습니다. 충돌과 넘어짐도 자주 발생해, 과제 성공과 안전한 실행을 별개의 지표로 봐야 한다는 점을 뒷받침합니다.

의미와 영향

TARSphere의 의미는 새로운 벤치마크를 추가한 데 그치지 않습니다. 이 프레임워크는 체화 지능을 정해진 지시에서 행동을 선택하는 능력이 아니라, 환경을 이해하고 정보를 유지하며 변화에 대응하고 사람의 의도를 추론한 뒤 안전하게 실행하는 폐쇄루프로 바라봅니다. 이벤트 기반 평가 방식은 최종 답변만 보는 대신, 중간 행동과 정보 전달이 결과에 어떤 영향을 주었는지 살펴볼 수 있게 합니다.

이번 결과는 언어 이해 능력이 곧바로 신뢰할 수 있는 로봇 행동을 의미하지 않는다는 점도 보여줍니다. 모델이 무엇을 전달해야 하는지는 알아도 상황 변화 뒤 목표를 갱신하지 못할 수 있고, 목표 물체를 찾아도 이동 중 충돌할 수 있습니다. 앞으로는 의미 추론, 공간 제어, 사회적 소통, 안전 중심 실행을 함께 개선해야 합니다. TARSphere는 이 요소들을 같은 환경에서 비교할 수 있는 기반을 제공하지만, 시뮬레이션 결과가 실제 로봇에서도 유지되는지는 추가 검증이 필요합니다.

출처: Hugging Face Daily Papers