マルチモーダル

視覚言語モデルは、もっともらしい誤答を生成することがあります。MOTIVEは複数の検証視点と信頼性スコアを組み合わせ、答えを受け入れるか再推論するかを選択します。

何恺明氏のチームは、既存のマルチモーダルモデルが過去の視覚情報を必要に応じて再確認できる視覚ネイティブなHarness、VISTAを提案した。基盤モデルを追加学習せず、画面の保存と検索によって対話的推論を支援する。

CloudflareはClef意思決定モデル群について、マルチモーダル対応のClef-omni、低価格化したClef-flash、速度を高めたClefを同時に発表した。入力の幅、利用コスト、応答遅延をまとめて改善するアップデートだ。

FMEEは、モデルの重みを更新せずに、運用中の経験を外部の専門知識として蓄積するフレームワークです。推論手順、根拠付きの知識、画像ケースを組み合わせ、医療向けLLMとVLMの継続的な改善を目指します。

視覚言語モデルでは、画像から生成される大量の視覚トークンが推論コストを押し上げる。V-CoLAは、線形アテンションや混合アーキテクチャを想定した学習不要の圧縮手法を提案する。

OneSearch-VLは、視覚的グラウンディング、外部検索、事実の統合を結び付ける「視覚グラウンデッド証拠グラフ」を提案しました。画像と動画を対象に、学習データ、強化学習報酬、操作別ベンチマークを一体化しています。

OmniConfessは再学習を必要とせず、テキスト・画像・音声・動画の各証拠チャネルが回答のどのトークンを支えているかを調べ、信頼性の低い主張を修正する推論時手法です。

Kandinsky 6.0 Videoは、テキストまたは画像から、44 kHz音声とリップシンクを備えた約5秒の動画を生成するモデル群です。動画ストリームと音声ストリームを双方向に接続するCrossDiTにより、映像と音の時間的・意味的な整合を狙います。

HUST Vision Lab は、言語と画像を同じ連続空間で扱う Multimodal Flow を提案した。画像を離散トークンへ量子化せず、連続ハイパーチャンクと共有 Flow Matching バックボーンで両モダリティを統一的にモデル化する。

ReImaGinは、画像生成モデルをマルチモーダル大規模言語モデルの視覚推論機構として利用する手法です。6種類のタスクで、テキストのみの推論や専用視覚ツールのベースラインを上回り、最大25%の改善が報告されています。

画像生成の学習は、条件が合えば視覚理解も高められるのでしょうか。OmniTaskonomyは、19種類の画像間生成タスクと25種類の理解能力を整理し、どのタスク間で転移が起きるのかを分析しました。

SentZeroは、胸部X線と放射線科レポートを用いた文中心の視覚言語事前学習フレームワークです。正例の多様性不足や、臨床的に同等な文を負例とみなす問題に対処し、マルチタスクのゼロショット解析を目指します。

VQSは、答えの多数決に頼る代わりに、画像を構造化し、固定プログラムで質問と答えを生成します。人手評価で正答率94%を達成し、Qwen3-VLを10種類のベンチマークで改善しました。

Tencent Hunyuanの研究チームは、視覚エンコーダーを使うモデルと使わないモデルのスケーリング特性を比較した。エンコーダーなしのモデルは小規模では不利だが、計算量の増加によって差を縮められる可能性が示された。

AV-GRPO は、音声と映像を同時に生成する拡散モデルで問題になる報酬の混在、計算コスト、同期評価の難しさに取り組む手法です。5DAV データセットは、学習難度を制御しながらサンプルを複数の次元に分解します。

PrismMLは、QualcommのSnapdragon AR1 Gen 1 Platformを搭載するスマートグラス向けに、1ビットのBonsai言語モデルを披露した。約20億パラメータの視覚言語モデルで、端末上の処理を目指すが、搭載製品はまだ発表されていない。

Google DeepMindは、低遅延の動画生成と音声対話を組み合わせたGemini 3.8 Live with Live Avatarを発表した。非同期ツール実行、97言語の同期、企業向けカスタムアバターに対応する。

Ovis-Embeddingは、共有マルチモーダル・バックボーンでテキスト、画像、動画、音声を処理するオムニモーダル埋め込み方式を提案する。データ構成、難例学習、類似度蒸留、推論時の次元調整までを一体で設計している。

Realtime-Venus は、会話を継続しながらバックグラウンドで推論やツール実行を進めるリアルタイム対話システムです。音声・映像向けと音声対話向けに、個別に学習した 9B モデルをそれぞれ備えています。

CARDEAは、Chain-of-Boxによって冠動脈造影の推論と画像領域を結び付ける視覚言語モデルです。検証可能な報酬を使う強化学習により、ゼロショットのレポート生成と一部の判定性能を改善しました。

SpatialBlockは、複雑で高コストな実画像の幾何アノテーションに代わり、合成したブロック積み課題で大規模視覚言語モデルを訓練する手法を提案する。SpatialBlock-15kは、3D投影、視点変換、構造の組み合わせ、色による空間アンカーを扱う。