GroundAnything、拡散型並列デコードで視覚グラウンディングを高速化

概要

視覚グラウンディングは、画像の中に何があるかを答えるだけのタスクではない。テキストクエリに対応する対象を選び、その位置を示し、必要に応じて対象同士の空間関係も表現する必要がある。従来の自動回帰（AR）モデルは、こうした予測をトークンごとに順番に出力する。そのため推論には逐次的な待ち時間が生じ、実際には必須でない左から右への生成順序も導入される。

GroundAnythingは、グラウンディングを「視覚的証拠の抽出」として捉える。対象、位置、関係は画像とクエリによって同時に制約されるため、必ずしも一列に生成する必要はない。この考え方から、双方向拡散によって空間的な仮説を並列に出し、デノイジングで共同修正する設計を採用した。

主な仕組み

GroundAnythingは4Bパラメータのグラウンディング基盤モデルで、主な特徴は次の通りだ。

• 双方向拡散デコード：空間予測を並列に生成し、複数回のデノイジングで精度を高める。
• ブロック単位の処理：出力を共同最適化できるブロックに分け、構造を維持しながらトークン単位の依存を減らす。
• ARから拡散への変換：公開データセットと専用データエンジンによる事前学習の後、ARモデルを拡散モデルへ変換し、ARと拡散の目的関数を共同で学習する。
• 段階的な後学習：教師あり微調整に加え、GRPOベースの強化学習型後学習を行う。
• 複数のデコード方式：エントロピー誘導デコードや、任意で使える自己投機モードを備える。

精度と速度

30のグラウンディングベンチマークにおいて、AR版のGroundAnything-VLMは平均72.42%を報告した。素材によれば、同程度の規模のモデルでは総合的な最先端結果であり、GPT-6 Astraの71.35%を上回る。拡散版では、エントロピー誘導デコードを使った平均値が61.75%となり、同規模で高速推論を狙うMTPベースのLocateAnythingの53.32%を上回った。

速度については、自己投機モードがAR版に対して4.51倍の高速化を達成し、COCO F1mの低下は0.74ポイントだった。プロジェクト紹介では約4倍の高速化とも説明されているが、実際の値はハードウェア、デコード設定、バッチサイズ、評価方法によって変わるため、すべての環境に固定的に適用できる数字ではない。

意義と残された課題

この研究の意義は、拡散型の並列生成が、構造を持つ視覚出力にも適用できる可能性を示した点にある。逐次的な待ち時間を抑えられれば、対話的な画像理解、ロボットの視覚認識、低遅延のマルチモーダル処理に応用できる可能性がある。

一方、拡散推論には複数回の反復処理が必要であり、実運用でのスループット、メモリ使用量、タスクごとの安定性は追加検証を要する。現時点では、ARの精度と並列デコードの速度を調整する実用的な設計として評価するのが妥当だろう。コードと重みが公開されているため、今後は異なるデータ分布やハードウェアでの再現検証が期待される。

出典：Hugging Face Daily Papers