Open Vision Banana、画像生成モデルを開放型の視覚認識基盤へ

導入

画像生成モデルは、画像を合成するだけでなく、物体や場面、空間関係などに関する視覚表現も学習している可能性がある。Open Vision Banana（OVB）は、この表現を視覚認識に再利用し、単一の生成モデルを複数タスク向けの認識システムへ変換する方法を提案する。

背景には、Vision Bananaの再現性に関する課題がある。Vision Bananaは視覚タスクを条件付き画像編集として定式化したが、データ、重み、コード、実装の詳細は公開されていなかった。OVBは、データ構築から学習、評価、チェックポイントまでを含むオープンな手順を提供する。

主なポイント

• 認識を画像編集として表現。 タスクごとに専用の予測ヘッドを用意するのではなく、テキスト条件に従って入力画像を編集し、目的の認識結果を視覚的に表現する。これにより、意味分割、深度推定、指示対象分割、推論分割を同じ生成的枠組みに組み込める。
• 設計要素の相互作用を分析。 色の符号化、プロンプト設計、パラメータ適応、タスクのバランスを検証した。個別には有効な設定でも、他の設定と組み合わせると汎化性能を損なう可能性がある。
• 公開資源で構築。 4Bおよび9Bパラメータのオープンウェイト基盤モデルを出発点とし、公開データセットから約210万〜380万組の学習ペアを作成した。データ処理、学習・評価コード、最終モデル、中間モデル、アブレーション用チェックポイントを公開している。
• ゼロショット分割で優位性。 Cityscapesでは73.9 mIoUを報告し、Vision Bananaの報告値69.9を上回った。深度推定でも、最先端のアフィン不変深度推定器に匹敵する結果を示す。
• タスクごとの差は残る。 非ゼロショットの指示対象分割と推論分割ではVision Bananaとの差を5ポイント以内に縮めた一方、インスタンス分割では依然として差が大きい。基盤モデルの画像編集能力は、多くの場合そのまま維持された。

色凡例を使ったテスト時アンサンブル

OVBは「legend ensembling」も提案する。生成モデルによる分割では、クラスと色の対応が不安定になることがある。そこで複数のクラス・色凡例を使って同じ画像を推論し、出力を多数決で統合する。

この方法は再学習を必要とせず、Cityscapesで最大8.7 mIoUポイント、COCO-Objectで最大15.0ポイントの改善をもたらした。生成モデルの出力揺らぎを、複数の符号化と結果統合によって推論時に補正する考え方だ。

意義と影響

OVBの意義は、単に新しい重みを公開したことにとどまらない。生成的な視覚認識を、出力表現、プロンプト、パラメータ適応、マルチタスク学習という検証可能な設計問題に分解した点にある。性能はモデル規模だけでなく、これらの要素をどう組み合わせるかにも左右される。

公開されたコードとデータ処理手順は、追試や改良のハードルを下げる。一方、インスタンス分割の弱さは、統一的な生成フレームワークが専用モデルを全面的に置き換える段階にはまだないことも示している。

出典：Hugging Face Daily Papers