StreamPI, 단일 프레임 VLA에 스트리밍 시계열 추론 도입

들어가며

비전·언어·행동(VLA) 모델은 로봇이 자연어 지시를 이해하고 주변 환경을 관찰한 뒤 실제 행동으로 연결하는 핵심 기술로 자리 잡고 있다. 그러나 일부 최신 VLA 모델은 여전히 한 장의 이미지에 기반해 결정을 내리는 단일 프레임 방식에 의존한다. 이 방식은 추론을 단순하게 만들 수 있지만, 직전 상태를 지속적으로 기억하기 어렵다는 한계가 있다. 물체가 이전에 어디에 있었는지, 앞선 행동으로 장면이 어떻게 바뀌었는지, 현재의 변화가 로봇의 조작 때문인지 판단하려면 시간에 따른 관찰이 필요하다.

StreamPI는 모델 파라미터를 추가하지 않고 단일 프레임 VLA에 스트리밍 시계열 모델링을 적용하는 방법을 제안한다. 별도의 대형 메모리 모듈을 더하기보다 시각 정보, 언어 지시, 시간 흐름을 어떤 단위로 구성하고 서로 어디까지 참조하게 할지를 바꾸는 접근이다.

핵심 내용

• 언어 지시를 시계열의 기준점으로 사용한다. StreamPI는 각 시점의 시각 관찰과 언어 지시를 하나의 원자적 단위로 취급한다. 같은 단위 안에서는 양방향 어텐션으로 이미지와 언어 토큰이 서로 정보를 주고받고, 시간 단위 사이에는 인과 어텐션을 적용한다. 따라서 현재 단계는 과거를 참고할 수 있지만 미래 정보는 보지 않는 자기회귀 스트리밍 추론이 유지된다.
• 과제 의미를 실행 내내 유지한다. 언어 지시는 시작 시 한 번만 주어지는 조건이 아니라 각 관찰과 함께 시계열에 들어간다. 모델은 과거와 현재의 장면을 로봇이 달성해야 할 목표에 맞춰 계속 해석할 수 있도록 설계된다.
• 불규칙한 입력 시점을 학습한다. 실제 로봇에서는 카메라, 제어기, 물리적 동작이 항상 완벽하게 동기화되지 않는다. StreamPI는 관찰 사이의 간격을 두고 스트리밍 학습을 진행하며, 간격 자체도 무작위화한다. 논문은 몇 프레임마다 관찰하는 적절한 간격이 더 빠르고 부드러운 행동에 도움을 줄 수 있고, 간격을 무작위화하면 타이밍 변화에 대한 강건성이 높아진다고 설명한다.
• 기존 단일 프레임 가중치를 재사용한다. LLM 백본의 길이 외삽 능력을 활용해 사전학습된 단일 프레임 가중치를 이어받는다. 필요에 따라 단일 프레임 추론과 다중 프레임 추론을 모두 사용할 수 있다는 점도 특징이다.

의미와 영향

StreamPI의 핵심 의미는 VLA에 기억을 추가하는 일을 반드시 더 큰 모델이나 별도 모듈의 문제로 보지 않는다는 데 있다. 단순히 여러 이미지를 이어 붙이는 대신, 각 시점 내부에서는 언어와 시각을 융합하고 시점 사이에서는 과거 정보가 인과적으로 흐르도록 분리한다. 이 구조는 시간적 맥락이 과제 지시와 분리되지 않도록 하는 데 초점을 둔다.

이러한 방식은 가림이 발생하거나 장면의 상태가 변하고, 물체와 그리퍼의 정밀한 정렬이 필요한 조작에서 유용할 가능성이 있다. 현재 이미지에 없는 단서를 과거 관찰에서 보완할 수 있고, 언어 지시를 기준으로 어떤 정보가 중요한지 판단할 수 있기 때문이다. 무작위 간격 학습은 실제 배포의 공학적 문제에도 대응한다. 입력이 정확히 일정한 주기로 도착하지 않는 환경에서는 인식 정확도뿐 아니라 시간 간격 변화에 대한 적응력도 중요하다.

논문은 기억 의존적 과제와 정밀 지각 과제를 포함한 실제 로봇 실험, 그리고 LIBERO 시뮬레이션 벤치마크에서 StreamPI를 평가했으며, 다양한 과제에서 pi0.5보다 우수했다고 보고한다. 다만 제공된 자료에는 정확한 성공률, 과제 수, 계산 비용이 제시되지 않았으므로 개선 폭과 효율성은 원문을 통해 추가로 확인해야 한다.

StreamPI는 기존 단일 프레임 VLA의 가중치를 활용하면서 구조화된 시간 맥락과 비동기 배포를 고려한 학습을 더하는 점진적 확장안이다. 더 긴 컨텍스트만으로 로봇의 기억이 해결되는 것은 아니며, 그 컨텍스트 안에서 언어 목표를 안정적으로 유지하는 설계 역시 중요하다는 점을 보여준다.

출처: Hugging Face Daily Papers