DeltaStreamer, 영상을 계속 관찰하고 필요할 때 과거 장면을 다시 보는 에이전트

들어가며

스트리밍 영상 이해는 일반적인 영상 질의응답과 다른 시간적 문제를 갖는다. 시스템은 앞으로 어떤 질문을 받을지 모른 채 영상이 계속 들어오는 상황에서 무엇을 보존할지 결정해야 한다. 짧게 등장한 물체나 순간적인 장면 전환, 앞뒤 맥락이 있어야 의미를 이해할 수 있는 행동이 나중에 질문의 핵심이 될 수 있다. 영상을 단순한 텍스트 요약으로 압축하면 이런 시각적 증거가 질문이 오기 전에 사라질 수 있다.

DeltaStreamer는 관찰과 답변을 하나의 작업으로 처리하지 않고, 지속적인 관찰과 질문 이후의 조사를 분리하는 에이전트 프레임워크다. 영상이 입력되는 동안 변화 중심의 기억을 만들고, 질문을 받은 뒤 필요한 부분을 찾아간다. 저장된 설명만으로 부족하면 원본 프레임을 다시 확인할 수 있다는 점이 핵심이다.

핵심 구성

• 현재 상태뿐 아니라 변화를 기록한다: 연속적으로 샘플링한 프레임을 비교해 현재 장면을 설명하고, 사람과 물체, 사건이 어떻게 달라졌는지도 기록한다. 이를 통해 한 장면의 정적인 요약이 아니라 사건의 진행 과정을 보존하려 한다.
• 원본 증거와 연결된 구조화 메모리: 관찰 결과를 텍스트 형태로 정리하면서 관련 영상 프레임을 가리키는 참조를 남긴다. 메모리는 답변의 최종 근거인 동시에, 필요할 때 원본을 재검증하는 색인으로 기능한다.
• 질문에 따라 조사 계획을 세운다: 질문이 들어오면 질의 기반 플래너가 답변에 필요한 증거를 판단하고 관련 메모리를 검색한다. 기존 설명만으로 세부 사항을 확인하기 어렵다면 추가 조사를 수행한다.
• 필요한 구간만 다시 재생한다: 처음 관찰할 때 생략된 시각 정보를 과거 프레임의 선택적 재생으로 보완한다. 모든 세부 정보를 항상 텍스트로 보존하는 대신, 질문이 요구할 때 원본 영상에서 다시 가져오는 방식이다.

평가와 의미

논문은 OVO-Bench와 StreamingBench에서 DeltaStreamer를 평가했으며, 각각 66.07%와 59.53%의 종합 점수를 보고했다. 또한 여러 대표적인 스트리밍 영상 이해 방법보다 높은 성능을 보였다고 설명한다. 이 접근의 의미는 단순히 요약을 잘하는 데 있지 않다. 지속적인 관찰 단계와 질문 이후의 능동적인 증거 수집을 연결해, 기억이 부족할 때 원본으로 돌아갈 수 있게 만든 데 있다.

이런 구조는 장시간 영상, 라이브 스트리밍, 대화형 영상 비서에 적용될 가능성이 있다. 프로젝트 페이지에는 오픈소스 코드와 로컬 실행이 가능한 데모가 제공된다. 또한 DeltaStreamer를 기반으로 영상·음성·채팅 맥락을 함께 활용하는 라이브 방송 동반 애플리케이션 AI-Tongdan도 소개되어 있다.

다만 제공된 자료만으로는 지연 시간, 메모리 저장 비용, 과거 프레임 재생에 따른 계산량, 구성 요소별 상세 소거 실험을 확인하기 어렵다. 따라서 실제 서비스 환경에서의 비용과 성능 균형은 추가 검증이 필요하다. 그럼에도 DeltaStreamer는 영상 에이전트의 핵심 질문을 바꾼다. 중요한 것은 단순히 영상을 봤는지가 아니라, 무엇을 기억하고 언제 과거를 다시 살펴보며 어떤 원본 증거로 답변을 뒷받침할지 결정하는 능력이다.

출처: Hugging Face Daily Papers