OmniTaskonomyが示す、視覚生成から視覚理解への能力転移

導入

視覚生成モデルは画像を作り、視覚理解モデルは物体を認識したり、位置や深度を推定したり、質問に答えたりします。両者は異なる分野として扱われがちですが、実際にはどちらも画像から豊かな視覚表現を学習しています。論文「OmniTaskonomy」は、画像を生成するための学習が、いつ視覚理解の能力向上につながるのかを調べました。

研究チームは、画像から画像への生成（I2I）タスクと、画像からテキストへの理解（I2T）タスクを、同じ基礎的な視覚問題を異なる出力形式で表す組として比較しました。この設計により、単に関連データを増やした効果ではなく、生成という出力形式そのものが理解能力に与える影響を検討できます。結果は、適切な学習レシピを用いればI2I訓練が下流のI2T性能を改善し、I2Iデータ量の増加に伴って効果も拡大するというものでした。

主なポイント

• 生成と理解を同じ問題の別形式として比較。 出力だけを画像とテキストで変えることで、タスク間の転移をより制御された形で評価しました。
• 19の生成タスクと25の理解能力を統合。 OmniTaskonomyは、生成タスクがどの理解能力に役立つのかを俯瞰する転移マップを提供します。
• 直感に合う転移を確認。 深度推定はメトリック3D推論、物体指示はカウント、ジグソー再構成は2Dの順序理解を改善しました。これらは、形状や空間配置を学ぶことが関連する理解能力を支える例です。
• 意外な組み合わせも存在。 2.5Dセグメンテーションはカテゴリ認識を、Z深度推定は位置特定を改善しました。表面的に出力が似ているタスクだけが有効とは限りません。
• 勾配の整合性が手がかり。 生成タスクと理解タスクの勾配方向がよく一致するほど、下流での転移効果が大きい傾向が見られました。

意義と影響

この研究は、視覚生成を単なる画像品質向上のための補助目標ではなく、幾何、物体性、空間関係を学ぶための監督信号として捉え直します。ただし、生成損失を追加すれば常に理解性能が伸びるわけではありません。目標となる能力に合わせた生成タスクの選択、データ量、学習順序、最適化の相互作用を考える必要があります。

OmniTaskonomyは、マルチタスク学習やカリキュラム設計、視覚基盤モデルの事前学習に向けた分析の枠組みを示しています。今後は、対象となる理解能力に応じて生成タスクを自動選択したり、勾配の整合性から学習計画を設計したりする研究につながる可能性があります。重要なのは、生成と理解を別々の能力とみなすのではなく、どの視覚表現を共有しているかを見極めることです。

出典：Hugging Face Daily Papers