StreamVibe: 변화하는 사용자 의도를 추적하는 비디오 에이전트

들어가며

많은 비전-언어 모델은 여전히 사용자가 명확한 질문을 하면 현재 화면을 분석해 답하는 수동적 상호작용 방식에 머물러 있습니다. 하지만 실제 지원 상황에서 사용자는 필요한 것을 항상 말로 설명하지 않습니다. 웹사이트를 탐색하다가 다음에 무엇을 클릭해야 할지 망설이더라도 직접 도움을 요청하지 않을 수 있습니다. 실용적인 에이전트는 연속적인 영상과 행동을 관찰해 사용자의 잠재적 목표를 추론하고, 개입할지와 언제 응답할지를 판단해야 합니다.

의도 중심 평가

StreamVibe는 사용자 의도 이해와 상호작용을 평가하기 위한 StreamVibe-Bench를 제안했습니다. 이 벤치마크는 4.1K개의 평가 샘플과 85K개의 학습 샘플로 구성되며, 사용자가 직접 표현하는 명시적 의도, 행동과 시각적 맥락에서 추론해야 하는 암묵적 의도, 상호작용 중 계속 변하는 동적 의도를 다룹니다.

이는 단일 턴 비디오 질의응답보다 실제 스트리밍 비서에 가까운 설정입니다. 모델은 단순히 답을 생성하는 데 그치지 않고 사용자의 현재 목표에 대한 가설을 유지해야 합니다. 화면과 행동이 바뀌면 그 가설을 갱신하고, 말을 걸어야 하는지와 적절한 시점까지 결정해야 합니다.

StreamVibe-VL과 StreamVibe-Harness

StreamVibe-VL은 연속적인 관찰에서 암묵적 사용자 의도를 추론하고, 그 의도가 변화하면 상호작용 방식도 조정하도록 설계됐습니다. 논문에 따르면 일반적인 비디오 이해 능력을 유지하면서 기존 기준선 대비 응답 타이밍과 답변 품질 관련 성능을 10.7% 높였습니다.

StreamVibe-Harness는 사용자 의도를 유연한 수명주기를 가진 지속 상태로 관리합니다. 계층형 메모리를 사용해 최신 사용자 의도와 환경 상태를 추적하는 것이 핵심입니다. 모든 과거 관찰을 동일하게 누적하는 대신, 지속되는 상호작용 속에서 현재의 이해를 업데이트할 수 있는 구조를 제공하려는 접근입니다. 실험에서는 지속적인 상호작용에서 응답의 일관성과 적응성이 개선됐으며, 능동적 상호작용 성능이 추가로 12.3% 향상된 것으로 보고됐습니다.

핵심 내용

• 평가는 단일 답변에서 시간에 따른 의도 추적으로 확장됐다.
• 암묵적 의도를 이해하려면 행동, 시각적 맥락, 장면 변화를 함께 분석해야 한다.
• 동적 의도에는 초기 판단을 고정하지 않고 상태를 계속 갱신하는 기능이 필요하다.
• 능동적 지원은 정답률뿐 아니라 응답 여부와 타이밍도 중요하게 다룬다.
• 계층형 메모리는 지속적인 비디오 상호작용에서 의도와 환경 상태를 유지하는 수단이다.

의미와 영향

StreamVibe는 비디오 에이전트의 평가 기준이 어떻게 달라져야 하는지를 보여줍니다. 명시적인 요청이 있을 때만 행동하는 시스템은 수동적인 질의응답 도구에 가깝습니다. 실제 비서는 사용자를 방해하지 않으면서 맥락을 이해하고, 도움이 필요한 순간에 응답하며, 사용자의 목표가 바뀌면 자신의 해석도 수정해야 합니다.

연구 결과는 기존 능동형 모델이 암묵적·동적 의도를 이해하고 응답 시점을 결정하는 데 여전히 제한적이라는 점도 보여줍니다. StreamVibe-Bench와 두 가지 제안은 이러한 간극을 측정하고 연구하기 위한 구체적인 틀을 제공합니다. 잘못된 개입이나 과도한 알림 같은 문제를 모두 해결하는 것은 아니지만, 비디오 모델을 ‘보고 답하는 시스템’에서 ‘지속적으로 이해하고 적절한 순간에 행동하는 에이전트’로 발전시키려는 방향을 제시합니다.

출처: Hugging Face Daily Papers