画像を理解する能力と画像を生成する能力は、モデルに異なるものを求めます。理解では言語と結び付いた意味表現が重要ですが、生成では細かな位置関係や画素レベルの情報も必要です。そのため、既存の統合型モデルには、タスクごとに視覚表現やバックボーンの計算を分ける設計があります。異なる要件には対応しやすい一方、共有される表現やパラメーターの範囲は限定されます。HiUniは、事前学習済みの視覚言語モデルを出発点に、より多くの計算を共有しながら理解と生成を統合できるかを検討します。
設計の要点は、共通のバックボーンと別々の出力経路です。 HiUniでは、言語と整合したVision Transformer(ViT)と密なTransformerバックボーンを、視覚理解、画像生成、編集で共用します。タスクごとの違いは主に出力側に置かれ、言語モデリングヘッドが理解を担い、Pixel Diffusion Headが画像を合成します。生成専用の別バックボーンを設けるのではなく、共通ネットワークの表現をそれぞれの出力処理へ渡す構成です。
ただし、この共有設計には課題があります。第一に、画素空間で画像生成を直接最適化するのは難しいこと。第二に、事前学習されたViTの表現は意味的に抽象化されやすく、視覚情報の圧縮によって、生成に必要な細かな空間情報が弱まる可能性があることです。HiUniは前者に対して、画素空間での最適化を意識したPixel Diffusion Headを導入します。後者には、出力に近い段階で局所的な空間手掛かりを加える軽量な残差経路、HiGateを用います。資料によれば、HiGateは大規模な別バックボーンではなく、共有された意味表現を細部の情報で補う仕組みです。
報告された結果と意義。 論文は、HiUniの平均的な理解スコアが事前学習済み視覚言語モデルに近く、画像生成と編集でも競争力のある性能を示したと述べています。また、制御された比較と分析から、タスク専用のバックボーン計算を使わず、一つの密なバックボーンで両方の能力を支えられる可能性を示したとしています。一方、提供資料にはベンチマーク名、具体的なスコア、計算コストは含まれていません。そのため、分離型の構成より常に優れているとまでは判断できません。
この研究の意義は、統合を「すべての処理を同一にすること」と捉えず、中心となる視覚表現とバックボーンを共有しつつ、出力段階ではタスク固有の処理を残す設計を示した点にあります。幅広いタスクでもこの構成が機能すれば、重複した設計を減らし、理解と生成の知識共有を促せる可能性があります。共有表現が異なる目的にどこまで適応できるか、また軽量な経路で生成に必要な空間情報を十分補えるかは、今後も検証が必要です。
コメント
ログイン状態を確認中…
コメントを読み込み中…