SenseNova-U1.5、視覚理解と生成を統合する8Bモデル

導入

現在のマルチモーダルモデルでは、画像を理解する視覚エンコーダーと、画像を生成するデコーダーやVAEが分かれている構成が一般的です。SenseNova-U1.5はこの分業を見直し、視覚エンコーダーとVAEを使わない構成で、視覚情報の理解、推論、生成を同じモデル内で扱おうとしています。発表されたモデルは8B-MoTで、視覚を説明するだけでなく、指示を解釈して画像を計画・作成することを狙います。

主なポイント

• ネイティブな統合設計：視覚入力の理解と出力の生成を完全に別の処理として切り分けず、共通のマルチモーダルモデリングの流れで扱います。
• 視覚インターフェースの強化：空間的に一貫したパッチ再構成を導入し、画像の局所的な細部と全体の構造をモデルが結び付けやすくする設計です。
• データとタスクの改善：生成・編集用データを選別し、タスクの定式化や構造化プロンプトを改善しました。最大4Kのネイティブ解像度にも対応し、細部や複雑な配置を意識しています。
• 専門能力の統合：視覚的な美しさ、バイリンガル文字描画、インフォグラフィック生成、画像編集に特化した専門家を後学習で最適化し、複数専門家によるオンポリシー蒸留で統合します。
• 編集と構図：論文要約によれば、画像の忠実度、複雑な構図、複数参照画像の編集、画像とテキストを交互に扱う生成が改善されました。対象の同一性や幾何、変更しない領域の維持も重視されています。

意義と限界

この研究の意義は、単に画像をきれいに生成することだけではありません。画像を見て、指示の意味を推論し、変更箇所を計画し、結果を生成する一連の流れを、より直接的に結び付けようとしている点にあります。モジュール型の構成は個別最適化がしやすい一方、理解した内容や編集意図が生成側へ移る際に情報が失われる可能性があります。統合モデルはその断絶を小さくする可能性があります。

また、生成データ中で構造化形式への接触が限られていたにもかかわらず、長く複雑な視覚指示や構造化された指示へ一般化したと、論文は説明しています。これが幅広い評価や第三者の再現実験でも確認されれば、マルチモーダル理解が画像質問応答だけでなく、視覚的な計画や制作へ移転する可能性を示します。

ただし、今回の素材には具体的なベンチマークの数値や各モデルとの詳細な比較は含まれていません。そのため、全タスクでの優位性を断定するより、設計思想と研究チームが報告した方向性を評価するのが適切です。教師あり微調整、強化学習、オンポリシー蒸留の学習コードが公開されれば、エンコーダーとVAEを使わない設計の再現性や実用上の限界を検証しやすくなります。

出典：Hugging Face Daily Papers