연속 비디오 스트림에서 자기지도학습이 어려운 이유

들어가며

많은 시각 자기지도학습 시스템은 데이터를 독립적으로 샘플링하고, 전체적으로 섞은 뒤 여러 에포크에 걸쳐 반복 학습할 수 있다는 전제에서 설계된다. 그러나 실제 카메라나 로봇이 세계를 관측하는 방식은 다르다. 프레임은 시간 순서대로 도착하고, 인접한 관측은 서로 매우 비슷하며, 과거 데이터를 자유롭게 재배열하거나 다시 재생하지 못할 수도 있다.

논문 「I Have a Stream」은 자기지도 사전학습을 이런 연속 비디오 스트림 조건에 적용했을 때 어떤 문제가 나타나는지 분석한다.

핵심 내용

• 스트리밍 전용 평가 환경을 만들었다. 연구진은 95시간의 도시 도보 여행 영상으로 WT++를 구축했다. 프레임은 엄격한 슬라이딩 윈도 배치로 시간 순서대로 소비되며, 전체 셔플과 여러 에포크의 반복 재생은 사용하지 않는다.
• 방법별 취약성이 달랐다. 대조학습과 증류 기반 방법은 연속 스트림에서 성능이 크게 약화됐다. 마스크 자동인코더(MAE)는 상대적으로 강했지만, 표준적인 독립·동일분포 학습 수준에는 도달하지 못했다.
• 핵심 문제는 배치 내부의 중복이다. 인접 배치가 비슷하다는 점은 당연한 원인처럼 보이지만, 실험 결과 배치 간 유사성만으로 성능 격차를 설명할 수 없었다. 더 큰 문제는 한 배치 안의 프레임들이 거의 동일하다는 점이다. 이 경우 모델이 접하는 유효한 시각적 변화가 줄어든다.
• StreamMAE는 입력 파이프라인을 바꾼다. 기존 MAE의 재구성 목표는 유지하면서 스트림 인식 정규화를 추가하고, 움직임이 나타나는 영역을 더 잘 선택하도록 크롭 전략을 조정했다.
• 데이터가 늘어날수록 이점이 유지됐다. StreamMAE는 스트리밍 기준선보다 우수했고, 같은 비디오로 학습한 i.i.d. MAE에 가까운 결과를 보였다. 사전학습 스트림이 12시간에서 95시간으로 늘어날 때도 성능은 긍정적으로 확장됐다.

의미와 영향

이 연구는 긴 비디오가 곧 많은 학습 정보를 의미하지 않는다는 점을 보여준다. 프레임 수가 많더라도 한 배치에 거의 같은 장면이 반복되면, 모델이 새롭게 얻는 정보는 제한적이다. 배치 간 상관관계와 배치 내부의 중복을 구분해 분석한 것은 연속 데이터에서 자기지도학습이 약해지는 원인을 더 정확히 이해하게 해준다.

로봇 비전, 모바일 카메라, 장시간 비디오 이해처럼 데이터를 자유롭게 저장하거나 재배열하기 어려운 분야에서는 학습 목표와 입력 샘플링을 함께 설계해야 한다. StreamMAE는 일반적인 학습 배치를 단순히 시간순으로 공급하는 것만으로는 충분하지 않으며, 각 배치에 얼마나 다양한 변화가 포함되는지가 중요하다는 점을 시사한다.

WT++와 평가 설정은 향후 스트리밍 학습 연구를 위한 출발점이 될 수 있다. 앞으로의 방법은 셔플된 대규모 데이터셋에서 표현을 학습하는 데 그치지 않고, 순차적이고 중복성이 높으며 다시 배치하기 어려운 관측에서도 지속적으로 새로운 정보를 추출해야 한다.

출처: Hugging Face Daily Papers