RoboTTT, 로봇 정책의 컨텍스트를 8K 타임스텝으로 확장

들어가며

최근 로봇 파운데이션 모델은 이미지, 언어 지시, 행동을 연결하는 방식으로 빠르게 발전하고 있다. 하지만 많은 정책은 현재 관측 또는 매우 짧은 이력만 보고 다음 행동을 결정한다. 짧은 조작에는 충분할 수 있지만, 여러 단계로 이어지는 장시간 작업이나 외란이 있는 실제 환경에서는 과거의 상호작용을 기억하고 활용하는 능력이 중요하다. RoboTTT: Context Scaling for Robot Policies 는 이 문제를 8K 타임스텝 규모의 시각-운동 컨텍스트 확장으로 다룬다.

핵심 내용

• 8K 타임스텝 컨텍스트: RoboTTT는 로봇 정책이 활용할 수 있는 컨텍스트 길이를 8K timesteps까지 확장한다. 논문은 이것이 최신 정책보다 약 세 자릿수 큰 규모라고 설명한다.
• 테스트 시 학습 도입: 핵심은 Test-Time Training이다. 모델은 학습 중뿐 아니라 추론 중에도 경사하강을 통해 일부 파라미터를 갱신한다.
• 빠른 가중치 기반 기억: 갱신되는 “빠른 가중치”가 순환 상태 역할을 하며, 긴 이력을 파라미터 공간에 압축하고 이후 의사결정에서 필요한 문맥 정보를 꺼내 쓴다.
• VLA 정책과의 결합: Vision-Language-Action 같은 로봇 파운데이션 모델에 통합해, 현재 이미지와 명령만이 아니라 긴 상호작용 궤적을 조건으로 사용할 수 있게 한다.
• 긴 시퀀스를 위한 학습 방식: 논문은 sequence action forcing과 truncated backpropagation through time을 결합해 긴 컨텍스트 학습을 확장한다.

의미와 영향

RoboTTT의 흥미로운 지점은 단순히 더 많은 프레임을 입력으로 넣는 데 있지 않다. 긴 이력을 명시적인 거대 어텐션 창에 보관하는 대신, 추론 중 업데이트되는 가중치에 압축한다는 점이 핵심이다. 로봇 제어에서는 지연 시간이 중요하므로, 작업 시간이 길어질수록 추론이 느려지는 방식은 실제 적용에서 부담이 된다. RoboTTT는 긴 기억과 낮은 지연을 함께 노리는 대안적 설계를 제시한다.

보고된 결과는 컨텍스트 길이가 로봇 파운데이션 모델의 새로운 스케일링 축이 될 수 있음을 시사한다. 논문에 따르면 RoboTTT는 까다로운 실제 로봇 조작 과제에서 단일 스텝 컨텍스트 기준 대비 전체 성능을 87% 높였다. 또한 8K 타임스텝 컨텍스트로 학습한 모델은 같은 모델을 1K 타임스텝으로 사전학습한 경우보다 62% 높은 성능을 보였다.

능력 측면에서도 주목할 만하다. 8K 컨텍스트에서는 인간 동영상 시연으로부터의 원샷 문맥 내 모방, 실행 중 정책 개선, 외란에 대한 강건성, 다단계 장기 과제에서의 성능 향상이 관찰됐다. 특히 5분 동안 이어지는 10단계 조립 과제를 완료했다는 점은, 장기 수행형 로봇 정책의 가능성을 보여주는 사례다.

출처: Hugging Face Daily Papers