촉각 데이터를 체화 AI의 핵심 인프라로: NeoteAI·푸단대 N0 시리즈

도입

로봇이 카메라로 컵, 플러그, 수건을 인식한다고 해서 반드시 안정적으로 잡고, 정확히 꽂고, 깔끔하게 접을 수 있는 것은 아니다. 체화 AI의 많은 실패는 접촉 순간에 발생한다. 플러그가 소켓 가장자리에 걸리거나, 플라스틱 병을 너무 세게 쥐어 찌그러뜨리거나, 접은 수건이 손을 놓자마자 흐트러지는 식이다.

NeoteAI와 푸단대 신뢰 가능한 체화지능 연구원이 발표한 N0 시리즈 3편의 기술 보고서는 이 문제를 정면으로 다룬다. 촉각을 보조 센서가 아니라 로봇 데이터, 정책 학습, 세계모델의 핵심 구성요소로 끌어올리려는 접근이다.

핵심 내용

• N0-Foundation은 촉각 데이터의 공통 기반을 만든다. 촉각 센서는 젤 변형 이미지, 정전용량 행렬, 6축 힘 벡터 등 서로 다른 형태의 출력을 낸다. NeoteAI의 NeoData 데이터셋은 이런 차이를 넘어 대규모 학습 기반을 마련하려는 시도다. 보고서에 따르면 3만 시간 이상의 시각-촉각 상호작용 데이터, 약 140만 개 조작 구간, 33억 개 시간 단계, 80억 장 RGB 프레임, 100억 장 촉각 이미지를 포함한다. Franka, Piper, UR5e 등 6종 로봇 본체와 450개 실제 장기 과제를 포괄하며, 현재 5000시간 분량이 공개됐다.

• NeoForce는 촉각의 공통 표현을 학습한다. 서로 다른 하드웨어가 내는 촉각 신호를 이전 가능한 시계열 표현으로 바꿔, 하위 로봇 정책이 접촉 위치, 힘의 크기, 횡방향 당김이나 미끄러짐을 해석할 수 있게 하는 것이 목표다.

• N0-VTLA는 현재 촉각이 아니라 미래 촉각을 예측한다. 촉각 신호는 접촉 시점에만 강하게 나타나는 경우가 많아, 단순히 시각 token과 결합하면 쉽게 묻힐 수 있다. 또한 현재 촉각은 이미 벌어진 접촉에 대한 반응이라는 한계가 있다. N0-VTLA는 향후 50스텝의 촉각 변화를 예측해 동작 모듈이 더 일찍 조정하도록 한다. 보고서에 따르면 플러그 삽입 과제 성공률은 85%로 시각 기반 방식의 60%보다 높았고, 열쇠 뽑기 과제는 99%로 시각 방식의 35%를 웃돌았다.

• 실패 데이터도 학습 자원이 된다. N0-VTLA는 촉각 정보, 배포 후 데이터, human in the loop 데이터를 활용해 진행도 평가 모델을 학습하고, 오프라인 강화학습과 결합한다. 수건 접기, 가방 수납, 종이상자 접기 과제에서 성공률이 각각 50%에서 95%, 35%에서 80%, 20%에서 75%로 올랐다고 보고됐다.

• N0-TWAM은 세계모델에 촉각을 포함한다. 기존 세계모델이 주로 미래 영상을 예측했다면, N0-TWAM은 미래 영상, 촉각, 행동 시퀀스를 함께 예측한다. 비디오·촉각·행동 비동기 전문가 네트워크를 쓰는 혼합 전문가 구조이며, 총 파라미터 수는 72억이다. 보고서는 시뮬레이션 평균 성공률 84.5%, 실제 로봇 8개 과제 평균 성공률 46.3%를 제시했다.

의미와 영향

N0 시리즈가 보여주는 큰 흐름은 로봇 인식의 중심이 “시각 주도”에서 “시각-촉각 융합”으로 이동하고 있다는 점이다. 많은 조작 실패는 물체를 보지 못해서가 아니라, 힘과 마찰, 접촉, 미끄러짐을 충분히 다루지 못해서 발생한다. 대규모 촉각 데이터, 통합 표현, 미래 촉각 예측은 정교한 로봇 조작의 중요한 기반이 될 수 있다.

물론 과제도 남아 있다. 촉각 데이터 수집 비용은 높고, 로봇 본체와 센서가 바뀌었을 때의 일반화는 쉽지 않다. 실시간 추론 역시 엔지니어링 부담을 만든다. 그럼에도 공개 데이터와 모델이 널리 재사용된다면, 촉각은 체화 AI의 주변 연구가 아니라 핵심 인프라로 자리 잡을 가능성이 있다.

출처: 量子位