N₀-TWAM: 로봇 월드-액션 모델의 중심에 촉각을 놓다

도입

로봇 조작에서 카메라만으로는 해결하기 어려운 문제가 많다. 끼워 넣기, 잡기, 누르기, 정렬 같은 작업은 물체와 어떻게 접촉하는지, 힘이 어떻게 변하는지에 따라 성공 여부가 달라진다. N₀-TWAM은 이런 촉각 정보를 부가 센서가 아니라 월드 모델이 직접 예측해야 하는 핵심 신호로 끌어올린다.

이 연구는 접촉이 풍부한 조작을 위한 촉각 네이티브 world-action model을 제안한다. 모델은 미래의 시각 정보와 미래의 접촉 정보를 함께 예측하고, 그 공동으로 예측된 미래 상태에서 행동을 생성한다.

핵심 요점

• 시각과 촉각의 공동 미래 예측: N₀-TWAM은 촉각을 단순 조건 입력으로 붙이지 않고, 미래 영상과 같은 인과 단계에서 미래 접촉을 예측한다.
• 대규모 시각-촉각 사전학습: 촉각이 풍부한 시연 데이터를 사용하며, 범위는 6가지 embodiment와 450개 작업에 걸친다.
• NeoForce 표현: NeoForce는 힘 기반의 통합 촉각 표현으로, 행동 생성에 물리적으로 의미 있는 접촉 신호를 제공한다.
• 촉각 접촉 이벤트 기반 단계화: 긴 시간에 걸친 다단계 조작을 위해 촉각 접촉 이벤트를 작업의 단계로 사용하고, 실행 중 이 이벤트를 따라 진행한다.
• 실시간성을 고려한 구조: 비대칭 Mixture-of-Transformers를 채택해 영상 예측에는 넓은 전문가를, 행동 및 촉각 예측에는 더 가벼운 전문가를 사용한다.

의미와 영향

N₀-TWAM의 의미는 촉각을 포함한 월드-액션 모델을 대규모 학습의 대상으로 제시했다는 점이다. 정밀 조작에서는 물체가 잘 보이더라도 접촉 상태가 맞지 않으면 실패할 수 있다. 너무 약하게 잡으면 떨어지고, 너무 강하게 누르면 손상될 수 있으며, 겉보기에는 위치가 맞아도 실제 접촉은 어긋나 있을 수 있다.

이 모델은 로봇이 앞으로 무엇을 보게 될지, 무엇을 어떻게 만지게 될지, 어떤 행동을 해야 할지를 함께 예측하도록 설계됐다. 소재에 따르면 실제 및 시뮬레이션 벤치마크에서 접촉 중심 작업에 대한 성능이 확인됐고, 데이터 스케일링이 촉각 및 행동 예측에 도움이 되는 것으로 제시됐다. 다만 일반화 범위, 다양한 촉각 센서에 대한 적응성, 실제 배치 안정성은 공개 코드와 체크포인트를 통한 추가 검증이 필요하다.

출처: Hugging Face Daily Papers