TouchScale, 500시간 시각·촉각 데이터로 로봇 학습 강화

시각만으로는 부족한 물리적 정보

카메라는 물체의 위치와 손의 움직임을 보여줄 수 있지만, 실제 접촉이 일어났는지, 얼마나 큰 압력이 가해졌는지, 잡고 있는 물체가 미끄러지는지는 직접 기록하지 못합니다. 물체를 조작해야 하는 로봇에게 이런 정보는 중요합니다. TouchScale은 1인칭 시각 정보와 촉각 정보를 함께 수집해 이러한 학습 신호의 공백을 줄이려는 데이터셋입니다.

TouchScale은 하나의 통일된 웨어러블 구성과 수집 프로토콜로 기록한 약 500시간의 접촉 중심 인간 상호작용 데이터를 제공합니다. 약 2,000개의 사전 정의 작업 설명을 포함하며, 일상적인 활동부터 구조화된 조작까지 폭넓게 다룹니다. 각 기록에는 1인칭 RGB-D 영상, 손목 RGB 영상, 양손에서 얻은 고밀도 전손 촉각 측정이 시간적으로 정렬되어 있습니다.

주요 실험 결과

연구진은 일관된 시각·촉각 데이터의 규모를 늘리는 것이 인식과 로봇 제어에 어떤 영향을 주는지 조사했습니다.

• 센서 간 접촉 예측: TouchScale 전체로 학습한 모델은 학습에 사용하지 않은 촉각 센서 데이터에서 제로샷 접촉 IoU 0.383을 기록했습니다. 기존 촉각 데이터로 학습했을 때의 0.134보다 높은 수치입니다.
• 행동 인식: TouchScale로 사전학습한 시각 인코더는 비교된 시각·촉각 데이터셋 가운데 세 가지 행동 인식 벤치마크에서 가장 높은 정확도를 보였습니다.
• 로봇 조작: 시각·촉각 중간 학습을 적용하자 네 가지 접촉 중심 실제 로봇 작업의 평균 성공률이 22.5%에서 57.5%로 상승했습니다.

센서와 데이터 수집 절차를 고정한 비교에서도 TouchScale 사용량이 늘어날수록 촉각 예측과 로봇 성공률이 전반적으로 높아지는 경향이 관찰됐습니다. 다만 이는 연구에서 평가한 조건에 대한 결과이며, 모든 작업이나 로봇에서 성능이 선형적으로 증가한다는 의미는 아닙니다.

의미와 남은 과제

TouchScale의 핵심은 단순히 데이터가 많다는 데 있지 않습니다. 센서와 수집 방식을 통일하고 시각·촉각 신호를 같은 시간축에 맞춤으로써, 데이터 규모의 효과를 비교적 명확하게 분석할 수 있게 했습니다. 시각은 환경과 행동의 맥락을 제공하고 촉각은 실제 접촉 상태를 보완합니다. 두 신호의 결합은 접촉 예측, 행동 이해, 로봇 정책 학습에 더 풍부한 감독을 제공할 수 있습니다.

현재 100시간 분량의 부분집합은 Hugging Face에서 접근 조건에 따라 제공되고 있으며, 전체 500시간 공개는 향후 진행될 예정입니다. 프로젝트는 동기화된 시각·촉각 기록과 재구성된 물체 모델도 공개할 계획입니다. 앞으로는 다른 작업, 촉각 센서, 로봇 형태로 얼마나 잘 일반화되는지 검증하는 일이 중요합니다.

출처: Hugging Face Daily Papers