TacForcing, 실행 중 촉각 피드백으로 로봇 동작을 업데이트하다

배경

로봇이 물체를 잡거나, 부품을 삽입하거나, 표면을 누르는 접촉 중심 작업에서는 카메라 영상만으로 상태를 완전히 파악하기 어렵다. 시각은 물체의 위치를 보여줄 수 있지만 접촉이 안정적인지, 힘이 적절한지, 말단 장치가 예상치 못한 장애물에 닿았는지는 명확히 알려주지 못할 수 있다. 촉각은 이런 정보를 제공하지만, 실행 중 발생하는 촉각 변화를 비전-언어-행동(VLA) 정책에 즉시 반영하는 일은 여전히 어려운 문제다.

청크 기반 정책의 시간적 불일치

많은 VLA 시스템은 실행 전에 수집한 관측으로부터 일정 길이의 동작 청크 전체를 한 번에 예측한다. 이 방식은 추론과 제어를 효율적으로 만들 수 있지만, 동작이 시작된 뒤 접촉 상태가 크게 변하면 문제가 생긴다. 이미 생성된 동작은 이전 관측에 기반하고 있으므로, 새롭게 들어온 촉각 정보에 즉시 반응하지 못할 수 있다.

기존의 촉각 반응 방식은 별도의 고주파 반응 제어기를 추가하는 경우가 많다. 이 방법은 빠른 보정을 가능하게 하지만 추가 모듈과 별도의 학습 과정, 상위 정책과 하위 제어기 사이의 인터페이스를 요구한다. 따라서 성능을 높이는 대신 시스템과 훈련 구조가 복잡해질 수 있다.

TacForcing의 접근법

TacForcing은 별도의 반응 제어기를 붙이는 대신 표준 동작 전문가를 스트리밍 동작 전문가로 교체한다. 시스템은 동작 블록을 점진적으로 생성하고 실행하며, 아직 실행되지 않은 부분은 실행 중 새로 얻은 촉각 관측을 이용해 다시 조정한다. 계획을 고정된 결과가 아니라 물리적 상호작용에 따라 갱신되는 과정으로 다루는 셈이다.

논문의 또 다른 핵심은 실행 인지 촉각 어텐션(Execution-Aware Tactile Attention, EATA)이다. 이 방식은 다음과 같은 원리를 따른다.

• 촉각 조건을 실행에 가까운 동작에 집중한다.
• 촉각이 관측된 시점과 해당 동작이 실행되는 시점의 차이를 줄인다.
• 최신 접촉 정보가 가장 유용한 동작 구간에 모델의 조건화 능력을 배분한다.

따라서 촉각 신호를 입력에 단순히 덧붙이는 데 그치지 않고, 특정 촉각 관측이 어느 동작 구간에 영향을 줘야 하는지까지 고려한다.

결과와 영향

TacForcing은 6개 시뮬레이션 UniVTAC 과제와 3개 실제 접촉 중심 조작 과제에서 각각 65%와 69%의 평균 성공률을 기록했으며, 두 환경 모두에서 강력한 기준선보다 높은 성능을 보였다. 제공된 자료에는 과제별 결과와 세부 소거 실험이 포함되어 있지 않으므로, 이 수치는 전체적인 성능 경향으로 해석하는 것이 적절하다.

이 연구의 중요한 점은 촉각을 저수준 제어기의 부가 신호가 아니라 주된 동작 생성 루프의 일부로 다룬다는 데 있다. 향후 다양한 센서와 작업으로 확장된다면 하나의 정책이 동작 생성, 실행, 실행 중 수정을 함께 담당하는 설계로 이어질 수 있다. 다만 실제 배포를 위해서는 추론 지연, 스트리밍 계산 비용, 촉각 하드웨어 간 전이, 코드 공개 이후 확인할 재현성 등을 추가로 검토해야 한다.

출처: Hugging Face Daily Papers