Mage-VL：リアルタイム動画理解に向けたコーデックネイティブなマルチモーダルモデル

2026年7月29日読了目安 3 分

導入

近年の視覚言語モデルは、静止画像やオフラインの動画クリップに対する高度な推論で成果を上げています。しかし、リアルタイムの動画ストリームでは事情が異なります。すべてのフレームを均一にサンプリングし、同じ密度でエンコードする方法では、ほとんど変化していない領域にも多くの計算を使ってしまいます。

Mage-VL は、この課題に対して「動画を画像の列として扱う」発想から一歩踏み出します。動画コーデックがすでに持っている運動ベクトルや残差エネルギーを使い、モデルが注目すべき動的で情報量の多い領域を選ぶ、コーデックネイティブなストリーミング基盤モデルとして提案されています。

Mage-ViT による選択的トークン化：一様なフレーム抽出ではなく、I フレームと P フレームの関係を利用し、16×16 パッチ単位で重要な領域を選択してエンコードします。
視覚トークンを大幅削減：論文によれば、時空間コンテキストを維持しながら視覚トークン消費を 75% 以上削減できます。これは長尺動画や対話型システムにとって大きな意味を持ちます。
未ラベルデータからの学習：Mage-ViT は約 5.6 億枚の未ラベル画像と 1 億フレームの未ラベル動画でゼロから学習され、数十億規模の画像テキストペアで学習された有力エンコーダに匹敵、または上回るとされています。
二重システム構成：軽量な System 1 のイベントゲートと、因果的に処理する System 2 デコーダを組み合わせることで、受動的な解析ではなく能動的なストリーミング知覚を目指します。
効率面の評価：Mage-VL-4B は静的タスクで Qwen3-VL-4B に匹敵し、動画理解や 2D/3D 空間推論で改善を示し、最大 3.5 倍の実時間推論高速化を達成したと報告されています。

Mage-VL の示唆は、単にモデルを高速化することにとどまりません。動画圧縮の過程では、背景の安定性、物体の移動、予測しきれなかった差分が自然に分離されます。これらをモデル入力の設計に組み込めば、限られたトークン予算をより重要な場所に使える可能性があります。

リアルタイムアシスタント、ロボットの知覚、監視映像分析、車載インタラクション、長尺動画理解などでは、このような設計が重要になります。今後のマルチモーダルモデルは、精度だけでなく、入力表現、学習データ、推論遅延、システム構成を一体で最適化できるかが問われるでしょう。