VideoChat3: 범용 비디오 이해를 위한 완전 공개형 MLLM

들어가며

비디오 이해 기술은 짧은 클립의 내용을 맞히는 수준을 넘어 실제 환경에 가까운 문제로 확장되고 있습니다. 모델은 움직임을 파악해야 하고, 긴 영상의 문맥을 유지해야 하며, 스트리밍으로 들어오는 프레임에 맞춰 지속적으로 반응할 수 있어야 합니다. VideoChat3는 이러한 요구를 겨냥해 제안된 비디오 중심 멀티모달 대형 언어 모델입니다.

이 모델이 강조하는 지점은 성능뿐 아니라 “fully open”입니다. 기존 오픈소스 비디오 모델 중 상당수는 가중치나 일부 구성만 공개하고, 학습 코드, 전략, 데이터셋 등 핵심 요소는 제한적으로 제공하는 경우가 많았습니다. 이는 재현성과 커뮤니티 기반 개선을 어렵게 만듭니다. VideoChat3는 공개성과 연구 재사용성을 중요한 가치로 내세웁니다.

핵심 내용

• 범용 비디오 이해 지향: 특정 유형의 영상에만 최적화하기보다 일반 영상, 장시간 영상, 스트리밍 영상까지 포괄하는 설계를 목표로 합니다.
• 4B 파라미터 규모의 효율성: 논문에 따르면 VideoChat3는 4B 파라미터만으로 동일하거나 더 큰 규모의 기존 오픈소스 모델보다 여러 벤치마크에서 나은 결과를 보였고, 효율성도 높였습니다.
• I3D-ViT 도입: Inflated 3D Vision Transformer를 통해 영상의 공간 정보와 시간 정보를 더 효율적으로 표현하도록 설계했습니다.
• 스트리밍용 적응형 프레임 해상도: Adaptive Frame Resolution for Streaming Video Perception은 훈련과 추론에서 비디오 입력 처리 비용을 줄이는 데 초점을 둡니다.
• 확장 가능한 데이터 합성 파이프라인: VideoChat3-Academic2M, VideoChat3-LV116K, VideoChat3-OL617K 세 데이터셋을 구축해 일반, 장시간, 온라인/스트리밍 시나리오를 각각 보강합니다.

의미와 영향

오픈 비디오 MLLM의 과제는 단순히 “영상에 대해 답할 수 있는가”에 그치지 않습니다. 다양한 영상 유형으로 일반화할 수 있는지, 긴 영상과 실시간 입력을 감당할 수 있는지, 그리고 다른 연구자가 재현하고 개선할 수 있을 만큼 공개되어 있는지가 중요합니다.

VideoChat3는 모델 아키텍처, 효율적인 입력 처리, 데이터 구축을 함께 다룬다는 점에서 주목할 만합니다. 실제로 코드, 학습 절차, 데이터가 충분히 공개된다면 비디오 이해 연구의 유용한 기준점이 될 수 있습니다. 또한 더 큰 모델만이 답이라는 흐름에서 벗어나, 구조와 데이터 설계로 효율을 끌어올리는 방향을 보여줄 수 있습니다.

다만 현재 제공된 정보는 논문 요약과 프로젝트 페이지 중심입니다. 세부 벤치마크 설정, 비교 모델 범위, 공개 리소스의 실제 완성도는 논문과 GitHub 저장소를 직접 확인해야 합니다. VideoChat3의 핵심 가치는 단일 성능 수치보다 완전 공개, 효율성, 다중 비디오 시나리오 대응을 결합한 데 있습니다.

출처: Hugging Face Daily Papers