WeLM-Image、画像理解・生成・編集を一つのモデルに統合

概要

画像生成モデルに求められる役割は、プロンプトから画像を作ることだけではありません。参考画像の内容を理解し、指示どおりに編集し、複数の素材を組み合わせる能力も、実際のクリエイティブ作業では重要です。WeLM-Imageは、こうした理解・生成・編集の機能を一つの画像基盤モデルにまとめる試みです。

共有と分離を組み合わせた構成

WeLM-Imageは、テキスト、参照画像、生成対象の潜在表現を一つの交錯した系列として扱います。これにより、複数の個別モデルを組み合わせるのではなく、共通のマルチモーダルな処理枠組みで理解と生成を行います。

中核となるMixture-of-Transformers（MoT）は注意機構を共有しながら、理解経路と生成経路にそれぞれ独立したパラメータを割り当てます。視覚内容を読み取る処理と、新しい画像を合成する処理が学習中に過度に干渉することを抑えるのが狙いです。

さらに両経路にはMixture-of-Experts（MoE）を導入し、必要な専門家だけを疎に有効化します。論文によれば、保存パラメータは31.7Bで、生成時には対象潜在トークンごとに約5.4Bの生成パラメータが有効になります。大規模な総容量を持ちながら、毎回すべてのパラメータを計算しない構成は、消費者向けサービスでのコスト管理を意識したものです。

データエンジンと段階的な学習

論文では、データを単純に増やすのではなく、生成と編集に適した構成を作ることを重視しています。知識に基づく視覚語彙と大規模な視覚クラスタリングを組み合わせ、意味のカバレッジと編集タスクのバランスを取ります。学習中の評価結果を使ってデータを反復的に見直す仕組みも導入されています。

多言語のアノテーションと検証済みの編集教師データにより、ネイティブ1.5K解像度まで段階的に学習します。生成と編集は、ルーブリックやチェックリストに基づく報酬で個別に最適化され、その後、ノイズを考慮したオンポリシー蒸留によって一つのモデルに統合されます。

結果と意味

論文が報告する比較では、1536解像度版がPRISM-Bench、Qwen-Image-Bench、UnicBenchで評価対象となったオープンソースモデルの中で首位となっています。ただし、この結果は論文の評価条件に基づくものであり、すべての実運用や編集ケースにそのまま一般化できるとは限りません。

また、MeanFlowを使った少ステップ蒸留によりWeLM-Image-Turboが作られました。論文では、単一のNVIDIA H20 GPU上で、ガイダンスなしの8ステップにより1024×1024画像を4.98秒で生成すると報告されています。

WeLM-Imageの意義は、単一のベンチマーク性能だけでなく、理解・生成・編集を統合しながら、パラメータ分離、疎な専門家、蒸留で干渉と推論コストを抑えようとした点にあります。今後は、複数タスク間のトレードオフ、編集時の一貫性、異なるハードウェアでの再現性が重要な検証課題になります。

出典：Hugging Face Daily Papers