LingBot-Touch, 서로 다른 촉각 센서를 잇는 로봇 기반 모델

들어가며

카메라는 물체의 위치와 형태를 파악하는 데 강하지만, 접촉 순간의 미세한 상태를 모두 설명하지는 못한다. 물체가 미끄러지는지, 그립에 충분한 힘이 가해졌는지, 가려진 영역에서 접촉이 어떻게 일어나는지는 촉각 센서가 더 직접적으로 알려줄 수 있다. 따라서 촉각은 정교한 로봇 조작을 위한 중요한 감각 양식이다.

문제는 촉각 하드웨어가 아직 통일되어 있지 않다는 점이다. 압저항식, 자기식, 시각 촉각 센서는 서로 다른 신호와 감지 물리를 사용한다. 한 센서에 맞춰 학습한 모델이 다른 장치에서도 그대로 작동하기 어려운 이유다. Robbyant의 LingBot-Touch는 센서별 물리 특성에 대한 의존도를 낮추고, 이질적인 촉각 데이터를 공통 표현으로 학습하려는 접근이다.

핵심 내용

• 센서 간 통합 표현. 압저항식, 자기식, 시각 촉각 센서의 데이터를 하나의 공유 가능한 표현 공간으로 매핑하는 것을 목표로 한다.
• 모듈형 촉각 토큰. 모델이 생성하는 촉각 토큰은 확산 정책뿐 아니라 π₀.₅와 LingBot-VLA 같은 시각-언어-행동 모델에도 입력할 수 있도록 설계됐다.
• 새 센서로의 확장성. 새로운 센서가 추가될 때마다 촉각 이해 시스템 전체를 처음부터 다시 만드는 부담을 줄이려 한다.
• 시뮬레이션과 실제 로봇 검증. 여러 하드웨어 플랫폼과 조작 과제를 대상으로 평가해, 복잡한 접촉 조작에서의 활용 가능성과 계산 효율을 함께 살폈다.

의미와 한계

이 연구의 핵심 의미는 특정 센서에 종속된 촉각 모델 대신, 여러 하드웨어에서 재사용할 수 있는 공통 인터페이스를 제시한 데 있다. 실제 로봇 개발 환경에서는 연구용 장비와 제품용 장비가 같은 센서를 사용하지 않을 수 있고, 손이나 엔드이펙터의 세대가 바뀌면서 센서 구성도 달라질 수 있다. 여러 센서에서 얻은 데이터를 하나의 표현으로 학습할 수 있다면, 데이터와 정책을 다른 플랫폼으로 이전할 가능성이 커진다.

촉각 토큰을 기존 정책 모델에 붙이는 방식도 실용적인 장점이 있다. 연구자는 확산 정책이나 VLA의 전체 구조를 다시 설계하지 않고, 접촉 정보를 추가 입력으로 활용하는 방향을 시도할 수 있다. 이는 촉각을 범용 체화 AI 시스템에 통합하는 진입 장벽을 낮출 수 있다.

다만 제공된 자료에는 과제별 성능 향상 수치나 새로운 센서를 연결할 때 필요한 적응 과정이 구체적으로 제시되어 있지 않다. 센서 간 일반화가 어느 범위까지 가능한지, 보정 데이터가 얼마나 필요한지, 실제 환경에서 장기간 안정적으로 작동하는지는 전체 논문과 후속 실험을 통해 확인해야 한다.

LingBot-Touch는 촉각 학습을 개별 센서 최적화에서 센서 간 공통 표현 학습으로 확장하려는 시도다. 이 방향은 촉각 데이터의 재사용성과 로봇 정교 조작 정책의 확장성을 검토하는 중요한 출발점이 될 수 있다.

출처: Hugging Face Daily Papers