動画を理解するには、画面に何が映っているかを認識するだけでは足りません。発話や環境音が映像の出来事を補足したり、食い違いを示したりすることがあり、音と映像の関係そのものが解釈の鍵になります。TencentのWeMM-Videoは、テキスト、画像、音声、動画を一つのモデル群で扱い、とりわけ音声と映像を組み合わせた知覚・推論を重視する取り組みです。技術レポートでは、中国語と英語に対応した2B、4B、9B、35B-A3Bの各モデルが紹介されています。
主なポイント
- 二つの応答モード: ハイブリッド思考方式を採用し、素早く直接答える非思考の指示モードと、段階的な推論を明示する思考モードを使い分けます。
- 大規模な段階学習: 著者によると、約1.2兆のマルチモーダルトークンを用いて、段階的な事前学習と複数段階の事後学習を実施しました。後処理には複数教師によるOPD、反復を抑えるMrDPO、専門能力を対象とした強化学習が含まれます。
- 幅広い評価対象: 120を超えるベンチマークで評価したとされ、音声・映像の共同理解に加え、一般音声、無音動画、画像、テキストのタスクも扱っています。
- 論文が報告する比較: 旗艦のWeMM-Video-35B-A3Bは、全モダリティ動画評価でオープンソースの新たな最高水準に達し、Qwen3.5-Omni-FlashとSeed2.0-Mini-0428を上回ったとされています。またGemini-3.0-Flashとの差を縮めたとの主張です。9B版についても、より大規模なQwen3-Omni-30B-A3B-Instructを超えたと報告されています。
注目点は、動画モデルの役割を映像フレームの認識にとどめず、音声と視覚情報を結び付けて推論する方向へ広げていることです。実現できれば、動画検索やメディア内容の分析などに活用できる可能性があります。ただし、提供された概要には個々のベンチマークの得点、評価条件、誤りの分析が記載されていません。そのため、性能比較は著者の報告として受け止め、実際の評価表や再現条件を確認する必要があります。モデル群と評価・再現関連資料を公開するとしていますが、実用性の判断には公開内容の確認が欠かせません。
コメント
ログイン状態を確認中…
コメントを読み込み中…