画像生成を視覚推論の中間ステップにするReImaGin

導入

チェーン・オブ・ソートは、難しい問題を複数の中間段階に分けて考える方法として、言語モデルの性能向上に大きく貢献してきました。しかし、問題の根拠が画像にある場合、すべてを文章に変換して考えることが最善とは限りません。遮蔽物の奥を推定したり、離れた視点から部屋の構造を理解したり、物体同士が衝突するかを判断したりするには、視覚的な表現を直接操作する必要があります。

ReImaGinは、画像生成モデルを最終画像の作成だけに使いません。マルチモーダルモデルが自然言語で指示を出し、画像を生成または変換し、その結果を次の推論に利用するという設計です。画像を推論の途中に置くことで、視覚情報をより扱いやすい形に組み替えることを目指します。

主なポイント

• 固定機能のツールより柔軟な操作を目指す。 既存のシステムでは、深度推定や物体検出などの専門モジュールを呼び出すことが一般的です。これらは有用ですが、実行できる処理と出力形式が限定されています。ReImaGinは自然言語によって、より開放的な視覚変換を指定します。
• 生成画像を推論の作業用表現にする。 素材では、遮蔽の除去や、複数の離れた視点から部屋の平面図を作る例が示されています。ここで画像は最終回答ではなく、後続の判断を助ける中間表現です。
• 複数の視覚推論タスクで評価する。 6種類のタスクには、マルチビュー空間推論や衝突予測が含まれます。要約によれば、ReImaGinはテキストのみの推論と専門的な視覚ツールのベースラインを一貫して上回り、最大25%の改善を示しました。

意義と課題

この研究の重要性は、画像生成と視覚推論を別々の機能として扱わない点にあります。生成モデルがシーンの別表現を構築し、言語モデルがその表現を使って判断するなら、単にラベルや深度値を抽出するより柔軟な処理が可能になるかもしれません。特に、複数視点の統合や遮蔽された環境の分析では、この考え方が有効です。

一方で、生成された中間画像が必ず入力に忠実とは限りません。遮蔽を取り除く際に存在しない情報を補ったり、平面図の形状を誤ったりすれば、その後の推論も誤ります。今回の素材には、詳細なモデル構成、学習手順、推論コスト、各タスクの個別結果が含まれていません。そのため、25%という数字は要約に示された最大値として捉えるべきです。

今後の焦点は、生成結果を元画像と照合する仕組み、視覚的な中間表現を制約する方法、そして複数回の生成呼び出しに伴うコストの削減になるでしょう。これらが解決されれば、画像生成モデルは画像を出力する部品から、マルチモーダル推論を支える基盤へ発展する可能性があります。

出典：Hugging Face Daily Papers