記事一覧へ戻る

WeMM-Video、音声と映像を統合するオープンなマルチモーダルモデル群

読了目安 2 分

動画を理解するには、画面に何が映っているかを認識するだけでは足りません。発話や環境音が映像の出来事を補足したり、食い違いを示したりすることがあり、音と映像の関係そのものが解釈の鍵になります。TencentのWeMM-Videoは、テキスト、画像、音声、動画を一つのモデル群で扱い、とりわけ音声と映像を組み合わせた知覚・推論を重視する取り組みです。技術レポートでは、中国語と英語に対応した2B、4B、9B、35B-A3Bの各モデルが紹介されています。

主なポイント

  • 二つの応答モード: ハイブリッド思考方式を採用し、素早く直接答える非思考の指示モードと、段階的な推論を明示する思考モードを使い分けます。
  • 大規模な段階学習: 著者によると、約1.2兆のマルチモーダルトークンを用いて、段階的な事前学習と複数段階の事後学習を実施しました。後処理には複数教師によるOPD、反復を抑えるMrDPO、専門能力を対象とした強化学習が含まれます。
  • 幅広い評価対象: 120を超えるベンチマークで評価したとされ、音声・映像の共同理解に加え、一般音声、無音動画、画像、テキストのタスクも扱っています。
  • 論文が報告する比較: 旗艦のWeMM-Video-35B-A3Bは、全モダリティ動画評価でオープンソースの新たな最高水準に達し、Qwen3.5-Omni-FlashとSeed2.0-Mini-0428を上回ったとされています。またGemini-3.0-Flashとの差を縮めたとの主張です。9B版についても、より大規模なQwen3-Omni-30B-A3B-Instructを超えたと報告されています。

注目点は、動画モデルの役割を映像フレームの認識にとどめず、音声と視覚情報を結び付けて推論する方向へ広げていることです。実現できれば、動画検索やメディア内容の分析などに活用できる可能性があります。ただし、提供された概要には個々のベンチマークの得点、評価条件、誤りの分析が記載されていません。そのため、性能比較は著者の報告として受け止め、実際の評価表や再現条件を確認する必要があります。モデル群と評価・再現関連資料を公開するとしていますが、実用性の判断には公開内容の確認が欠かせません。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
Piccolo、マルチモーダル意思決定モデルと学習データを共進化
マルチモーダル
cctest.ai
マルチモーダル

Piccolo、マルチモーダル意思決定モデルと学習データを共進化

Piccoloは、モデルの分析、データ作成、実験を研究エージェントでつなぐ反復的な改善手法を採用する。報告された知見は、モデル規模だけでなく、データ選定やモデルと学習レシピの適合が重要であることを示唆している。

続きを読む
CCTest · Blog
マルチモーダル視覚エンコーディングを分解する:事前学習より専用容量が重要
マルチモーダル
cctest.ai
マルチモーダル

マルチモーダル視覚エンコーディングを分解する:事前学習より専用容量が重要

制御された比較研究は、マルチモーダルモデルに事前学習済み視覚エンコーダーが必須ではないことを示した。一方で、専用の視覚処理容量は依然として重要であり、主幹ネットワークの早い層に組み込むことも可能だという。

続きを読む