스트리밍 비디오 모델은 영상을 계속 입력받을 수 있다. 하지만 오래 관찰할 수 있다는 사실만으로 사용자의 작업에 능숙하게 협력하는 것은 아니다. 기존 시스템은 각 요청을 서로 분리된 질문처럼 처리하는 경우가 많다. ‘Making Streaming Video Models Interactive’를 내건 ALIVE는 영상 이해뿐 아니라 대화 과정에서 언제 말하고, 어떻게 후속 대응을 하며, 언제 침묵해야 하는지를 다룬다.
ALIVE가 내세우는 세 가지 역량
- 능동적 모니터링: 사용자가 매번 질문하기를 기다리는 대신 영상을 지속적으로 살피고 관련 사건이 발생하면 응답한다.
- 스트리밍 작업 조율: 영상과 대화가 진행되는 동안 여러 대화 턴에 걸친 요청을 추적하고 처리한다.
- 피드백 요청: 필요한 정보가 빠져 있거나 사용자의 행동이 필요할 때 질문이나 요청을 해 작업을 이어간다.
연구진은 ALIVE-SFT-288K와 ALIVE-RL-3K라는 두 데이터셋을 구성하고, 2단계 훈련을 적용했다. 첫 단계의 대조적 지도 미세조정은 언제, 어떤 방식으로 응답할지를 학습한다. 다음 단계에서는 강화학습으로 다중 턴 상호작용에서의 판단을 다듬는다. 이때 사용하는 BACA(Behavior-Aligned Credit Assignment)는 궤적 수준의 어드밴티지와 국소적 어드밴티지를 결합한다. 상호작용 전체의 진행뿐 아니라 그 안의 개별 판단, 응답, 침묵까지 함께 고려하려는 접근이다.
연구는 모델이 피드백을 요청할 수 있는지, 이후 실제로 작업을 마칠 수 있는지를 평가하는 FSI-Bench도 소개한다. 저자들은 ALIVE가 네 개의 공개 벤치마크와 FSI-Bench에서 비교 대상 모델 가운데 가장 높은 종합 점수를 기록했다고 밝혔다. 이는 스트리밍 이해와 상호작용 능력을 함께 다루려는 진전으로 볼 수 있다. 다만 제공된 자료에는 벤치마크 이름, 구체적인 점수, 비교 모델, 실험 조건이 제시되지 않았다. 따라서 성능 차이가 얼마나 큰지, 각 기능이 결과에 얼마나 기여했는지는 이 정보만으로 확인하기 어렵다.
이 연구의 의미는 비디오 비서의 역할을 ‘영상을 보고 질문에 답하기’에서 ‘상황을 계속 파악하고, 변화하는 대화를 관리하며, 적절한 순간에 협력하기’로 넓히려는 데 있다. 피드백 요청과 작업 후속 처리가 실제 환경에서도 안정적으로 작동한다면, 시간이 지나며 정보가 쌓이고 필요한 내용이 차츰 드러나는 업무를 지원하는 데 유용할 수 있다. 그러나 먼저 말을 거는 행동이 언제나 도움이 되는 것은 아니다. 불필요한 방해를 줄이면서 적절한 개입 시점을 고르는 능력은 실용화를 위해 추가로 검증해야 할 과제다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…