ACT3D、視覚言語モデルに3D空間の能動探索を学習させる

導入

視覚言語モデルは一枚の画像に写る物体を理解できても、遮蔽物の奥にある対象や、別の方向から見なければ比較できない位置関係を判断するのは難しい。ACT3Dは、この問題を静的な画像理解ではなく、視点を自ら変えながら証拠を集める課題として扱う。

重要なのは、モデルに多視点画像や動画、完成済みの3D表現を直接与えない点だ。視覚言語モデル本来の入力形式である「一度に一枚の画像」を維持し、3Dデータは外部の環境として使う。モデルが左へ移動するなどの行動を選ぶと、環境は新しい視点のレンダリング画像を返す。

手法の要点

• 質問に応じた探索：各ロールアウトは初期の一人称視点と視覚的な質問から始まる。モデルは、現在の情報で答えられるか、追加の観察が必要かを判断する。
• 推論と行動の反復：思考、ナビゲーション、視点の再調整、観察を繰り返した後、最終回答を確定する。
• 結果を中心にした強化学習：まず軌跡の教師あり微調整を行い、その後、主に最終回答の正誤を報酬として学習する。理想的な視点や個々の行動は直接教えられない。
• 効率的な情報取得：遮蔽された対象を探す、空間比較に必要な補完的視点を得る、不要な探索を避けるといった方針を、行動が回答を改善したかどうかから学ぶ。

実験結果

六つの3Dベンチマークで、ACT3Dの平均精度は53.2%となった。基盤となるQwenモデルから22.0%向上し、比較対象となった独自開発のGemini 3.6 Flashも上回ったと報告されている。既存のオープンソース3D手法より少ない入力で結果を出し、使用フレーム数は50〜70%少なかった。

改善幅は質問の性質によって変わる。初期視点だけで答えられる質問では基盤モデルに対する向上は0.6%にとどまる一方、大規模な探索を必要とする質問では16.3%に達した。これは、単に多く動く方策ではなく、質問と現在の証拠に応じて探索の必要性を判断する方策が学習されたことを示唆する。未見の領域でも、教師あり初期化に対して平均5.9%の改善が得られた。

意義と課題

ACT3Dは、3D理解を「すべての視点をあらかじめ与える問題」から「必要な証拠を行動で取得する問題」へ捉え直した。これは、ナビゲーションやロボットのように、知覚と行動が密接に結び付くシステムにとって重要な視点である。

一方、最終回答だけを主な報酬にすると、長い探索では学習信号が疎になる可能性がある。連続制御、現実環境のノイズ、開放的なタスクでも同じ効率と安定性を保てるかは今後の検証課題だ。それでも本研究は、強化学習がモデルに画像を理解させるだけでなく、追加の情報をいつ、どのように取りに行くかまで学習させられることを示している。

出典：Hugging Face Daily Papers