Youtu-Parsing-Omni：文書・画像・音声・動画を1つのエンコーダーで解析

概要

文書解析、画像理解、音声認識、動画分析は、これまで別々のモデルと出力形式で扱われることが多くありました。Youtu-Parsing-Omniは、この分断を小さくする設計を示します。文書ページ、自然画像、チャート、フローチャート、幾何図形、音声、自然動画、テキスト豊富な動画を、1つのモデルで解析し、統一された構造化記録として出力します。狙いは、証拠の位置や時間を確認しながら検索・引用できるエージェントの知覚層を作ることです。

主な設計

• 共通の全モーダルエンコーダー：Youtu-Omni-Encoderは事前学習済み言語モデルを初期化に使い、文字の読み取り能力を高めています。画像、音声、動画を共有重みで処理し、共通の空間・時間座標系に表現します。
• 知覚段階での融合：動画フレームは同じ時刻の音声情報に注意を向けられます。映像、発話、音響イベントを、別々に認識した後で単純に連結するのではなく、知覚の段階で対応付ける設計です。
• 統一されたJSON出力：OmniSchemaは、レイアウト要素、バウンディングボックス、文字、LaTeX、表、図表、OCR、ASR、話者、音響イベント、動作、カメラ動作などを1つの形式に収めます。キャプション、レポート、ナラティブのような高次の出力も同じ枠組みで扱えます。
• 自己更新型の学習：OSADでは、モデル自身のロールアウトを使い、参照用コピーからトークン単位の目標を作ります。学習後に参照コピーを更新することで、解析器とその教師信号を同時に進化させます。

結果と意味

報告された5Bチェックポイントは、OmniDocBench v1.6でOverall 96.96、OmniParsingBenchで平均75.08を達成しました。比較対象のオープンウェイトモデルの中で高い位置にあり、特に音声と動画での優位性が強調されています。チャート解析では95.02の総合スコア、化学構造フィンガープリントの完全一致比較でも最高値を報告しています。

重要なのは、単に複数の入力を1つのモデルへ入れることではありません。座標、タイムスタンプ、読み順、話者などを含む共通の証拠表現を作る点にあります。エージェントは、根拠の位置が分からない文章より、検索・引用・検証に使える構造化情報を扱いやすくなります。また、複数モデル間の形式変換や後処理を減らし、評価や学習目標を共有しやすくする可能性もあります。

一方、統一アーキテクチャがすべての課題を解決するわけではありません。性能は入力品質、タスクプロンプト、推論設定に左右され、長時間動画の圧縮、精密な時間対応、複雑な幾何関係には今後の検証が必要です。それでも本モデルは、モダリティごとに別々に認識する流れから、マルチモーダルな証拠を共通形式で組織する流れへの転換を示しています。

出典：Hugging Face Daily Papers