GroundingPI：身体知能のための4B視覚グラウンディング基盤モデル

導入

身体知能にとって、物体を認識するだけでは十分ではありません。ロボットが対象をつかむには、指示がどの物体を指しているのか、そして画像内のどこにあるのかを正確に判断する必要があります。自動運転でも、車両や歩行者、道路上の領域を正しく位置付けることが行動生成の前提になります。GroundingPIは、この位置特定能力を汎用視覚言語モデルから偶然得られる機能ではなく、物理世界に向けた基盤的な知覚能力として扱います。

モデルの特徴

GroundingPIは4Bパラメータのグラウンディング基盤モデルです。点やバウンディングボックスを量子化した座標として共通語彙で表現し、生成モデルとして出力します。自然言語による説明だけでなく、制御系が利用しやすい構造化された空間情報を直接得られる点が特徴です。

学習は次の要素で構成されます。

• マルチモーダル・空間事前学習：視覚的意味と位置関係を結び付ける。
• 教師あり微調整：公開データセットと専用データエンジンで多様な場面をカバーする。
• GRPOによる強化学習：座標予測とグラウンディング全体の精度を調整する。

11種類の知覚能力を含む34ベンチマークで、44のベースラインと比較した結果、平均スコアは73.68%でした。論文中で比較された、より大規模なGPT-6 Astraの71.54%を上回っています。これは、モデル規模だけでなく、データ構成と学習目的が位置特定性能を左右することを示唆します。

ロボットと自動運転への効果

GroundingPIは、視覚言語行動モデルやワールド・アクションモデルの視覚バックボーンとしても評価されました。RoboTwin 2.0では、4つの分布外設定すべてで評価対象の主流バックボーンを上回り、最大相対改善は24.8%でした。RoboCasa-GR1では、デモンストレーションの50%だけで学習したモデルが、75%を使った比較対象を上回りました。

nuScenesの自動運転実験では、視覚バックボーンとして平均オープンループL2誤差0.296メートルを達成しています。分析では、事前学習規模の拡大に伴い、ロボット操作と自動運転の性能が向上しました。また、密なグラウンディングは複数の知覚能力に有効で、OCRデータも知覚学習を促進する可能性があると報告されています。

意義と課題

本研究の意義は、身体知能の知覚基盤を専用に設計する方向性を示した点にあります。高速で構造化された空間出力は、視覚理解と行動生成をつなぐ中間表現になり得ます。

一方、結果の中心はベンチマーク、シミュレーション、オープンループ評価です。現実環境での遮蔽、センサー noise、長時間の閉ループ相互作用に対する信頼性を直接保証するものではありません。実機での追加検証が必要ですが、コード、重み、推論スタックの公開は追試と応用を進める土台になります。

出典：Hugging Face Daily Papers