PhysCaP, 물리 특성을 직접 탐색하는 로봇 조작 에이전트

도입: 물체를 보는 것만으로는 충분하지 않다

시각언어행동 모델은 이미지와 언어 지시를 로봇의 행동으로 연결하고, 시연 데이터에서 집기나 밀기 같은 조작 절차를 학습하는 데 강점을 보입니다. 그러나 실제 환경에서는 외형만으로 판단할 수 없는 요소가 작업 성공을 좌우합니다. 비슷하게 생긴 캔이라도 내부가 비어 있을 수 있고, 같은 형태의 물체라도 무게나 변형 정도에 따라 적절한 조작 방법이 달라질 수 있습니다.

PhysCaP는 이러한 문제를 해결하기 위해 코드-애즈-정책 프레임워크에 물리 정보 기반 탐색 계층을 추가합니다. 핵심은 로봇이 모든 정보를 미리 알고 있어야 한다고 가정하지 않는 것입니다. 시각 정보만으로 확신하기 어렵다면, 로봇은 불확실성을 줄일 수 있는 상호작용을 선택한 뒤 그 결과를 다음 행동 계획에 반영합니다.

탐색의 필요성과 대상을 분리하다

PhysCaP는 두 개의 에이전트가 역할을 나누는 구조를 사용합니다.

• Planner는 현재 정보만으로 작업을 진행할지, 먼저 탐색해야 할지를 판단합니다. 추가 정보가 필요하면 탐색을 요청하고, 충분한 단서가 확보되면 더 이상의 탐색을 중단합니다.
• Prioritizer는 가능한 상호작용을 걸러내고 순위를 정합니다. 현재 물체나 상황에 맞지 않는 행동을 제거한 뒤, 휴리스틱 우선순위 점수에 따라 남은 후보를 정렬합니다.

이 구조는 상호작용형 에이전트가 정보를 얻는다는 이유만으로 너무 많은 행동을 시도하는 문제를 줄이기 위한 것입니다. 탐색 횟수가 많다고 항상 좋은 것은 아니며, 실행 비용 대비 얼마나 유용한 정보를 얻는지가 중요합니다.

또 다른 핵심은 물리 특성 추출 모듈입니다. PhysCaP는 추가 센서를 장착하지 않고 로봇의 고유수용감각 데이터를 사용합니다. 로봇의 관절 상태와 움직임에 대한 반응을 분석해 물체의 질량과 강성을 추정하는 방식입니다. 따라서 밀기나 접촉과 같은 행동은 환경을 바꾸는 조작인 동시에, 물체가 얼마나 무겁고 단단한지 확인하는 측정 과정이 됩니다.

평가 결과가 보여주는 방향

논문은 실제 탁상 조작 환경에서 숨겨진 물체 찾기, 빈 캔 판별, 잘 익은 아보카도 찾기 등의 과제를 평가했습니다. LIBERO를 활용한 시뮬레이션 과제도 포함했습니다. 제공된 자료에 따르면, 물리 특성이 시각적으로 드러나지 않는 상황에서 수동 관찰 기반 방법은 실패하기 쉽고, 단순한 상호작용 기반 방법은 필요 이상으로 탐색하는 경향을 보였습니다. PhysCaP는 비슷한 수준의 작업 성능을 유지하면서 더 적은 상호작용과 짧은 실행 시간을 달성했습니다.

절제 실험은 물리 특성 추출 모듈의 기여도도 확인했습니다. 이는 성능 개선이 단순히 Planner와 Prioritizer를 추가한 결과만은 아니며, 로봇의 내부 피드백에서 질량과 강성에 관한 정보를 추출하는 능력과 관련된다는 점을 시사합니다.

의미와 남은 과제

PhysCaP의 중요한 시사점은 로봇 인식을 행동 이전의 수동 단계로만 보지 않는다는 데 있습니다. 카메라가 답을 주지 못할 때 로봇은 안전하고 정보성이 높은 행동을 통해 직접 상황을 파악할 수 있습니다. 이런 관점은 가정용 로봇, 창고 분류, 내용물이나 상태가 달라지는 물체를 다루는 작업에 특히 유용할 수 있습니다.

다만 현재 소개된 결과는 질량과 강성 추정, 그리고 제한된 조작 시나리오를 중심으로 합니다. 다양한 로봇 플랫폼과 물체, 접촉 조건에서도 추정이 안정적인지는 추가 검증이 필요합니다. 앞으로 세계 모델, 장기 기억, 위험 제약과 결합한다면 로봇은 무엇을 할지뿐 아니라, 행동하기 전에 무엇을 알아야 하는지도 계획할 수 있을 것입니다.

출처：Hugging Face Daily Papers