동영상을 이해하려면 화면 속 사물을 알아보는 것만으로는 부족합니다. 대화와 주변 소리는 영상 속 사건을 보완하거나 다른 단서를 제공할 수 있어, 소리와 화면의 관계를 함께 해석하는 능력이 중요합니다. Tencent가 소개한 WeMM-Video는 텍스트, 이미지, 오디오, 비디오를 하나의 모델 계열에서 처리하고, 특히 오디오와 시각 정보의 결합 인식 및 추론을 강화하는 데 초점을 둡니다. 기술 보고서는 중국어와 영어를 지원하는 2B, 4B, 9B, 35B-A3B 모델을 제시합니다.
핵심 내용
- 두 가지 응답 방식: 하이브리드 사고 방식을 적용해 빠르고 직접 답하는 비사고 지시 모드와 단계별 추론을 드러내는 사고 모드를 지원합니다.
- 대규모 단계별 학습: 저자에 따르면 약 1조 2천억 개의 멀티모달 토큰으로 학습했으며, 점진적 사전학습 뒤 여러 단계의 후속 학습을 진행했습니다. 후속 학습에는 다중 교사 OPD, 반복을 줄이기 위한 MrDPO, 전문 역량을 위한 강화학습이 포함됩니다.
- 다양한 평가 범위: 120개가 넘는 벤치마크에서 평가했다고 밝혔으며, 오디오·비디오 공동 이해 외에도 일반 오디오, 무음 비디오, 이미지, 텍스트 과제를 다룹니다.
- 논문이 밝힌 비교 결과: 플래그십 WeMM-Video-35B-A3B는 옴니모달 비디오 평가에서 새로운 오픈소스 최고 수준을 기록해 Qwen3.5-Omni-Flash와 Seed2.0-Mini-0428을 앞섰다고 보고됐습니다. Gemini-3.0-Flash와의 격차도 줄였다는 주장입니다. 9B 모델은 더 큰 Qwen3-Omni-30B-A3B-Instruct를 능가했다고 설명합니다.
이 연구가 보여주는 방향은 비디오 모델을 화면 프레임 분석에 한정하지 않고, 소리와 시각 정보를 연결해 추론하도록 확장하는 것입니다. 이런 능력이 안정적으로 작동한다면 동영상 검색이나 미디어 콘텐츠 분석 같은 작업에 활용될 여지가 있습니다. 다만 제공된 요약에는 개별 벤치마크 점수와 시험 조건, 오류 분석이 없습니다. 따라서 성능 우위는 저자들의 보고로 이해해야 하며, 세부 비교는 논문의 평가표와 재현 조건을 확인할 필요가 있습니다. 연구팀은 모델군과 평가·재현 자료를 공개한다고 밝혔지만, 실제 활용 가능성은 구체적인 공개 내용에 달려 있습니다.
댓글
로그인 상태 확인 중…
댓글 불러오는 중…