RoTA-Bench、視覚言語モデルの3次元推論と操作の弱点を検証

導入

画像を認識できることと、その画像を根拠に正確な操作を選べることは同じではない。RoTA-Benchはこの差に焦点を当てる。モデルが2次元の観察から十分な3次元理解を作り、回転による見え方の変化を予測し、新しい視覚情報を受けて行動を修正できるかを検証する。

タスクの仕組み

各タスクでは、目標となるシルエットと、回転された状態の3次元物体が提示される。モデルは限られた操作予算の中で連続した回転を選び、物体の2次元投影を目標に合わせる。操作後には新しい観察が得られるため、単純な画像比較だけでなく、状態の追跡、計画、誤差修正も必要になる。

研究チームは2次元アイコンから、シルエットの特徴を保つ3次元物体を自動生成した。さらに可逆的な初期化を使い、タスクが原理的に解けることを保証している。基準には674件のタスクが含まれ、形状や難易度の偏りを抑えた100件のテストセットも用意された。

主な結果

• 人間とモデルの差は大きい。GPT-5.6-Solの成功率は17%にとどまった一方、20人の学部生はテストセットを4回共同で完了し、成功率100%を記録した。
• 画像上の重なりが改善しても、姿勢が正しいとは限らない。同じ状態を比較すると、モデルがシルエットの重なりを改善しながら姿勢の一致を悪化させた割合は19.4%で、人間の10.9%を上回った。
• 細かな制御は履歴に強く依存する。履歴を取り除くと、モデルの行動の96.8%が30度刻みの粗い操作に偏り、タスク成功率も大幅に低下した。

意義と限界

結果は、現在の視覚言語モデルが画像同士を比較できても、物体の形状、向き、操作の結果を一貫して表現できるとは限らないことを示す。見た目が目標に近づいても、実際の3次元姿勢から遠ざかる場合があるため、静止画の類似度だけでは空間能力を十分に評価できない。

RoTA-Benchは、知覚、記憶、計画、制御を一つのフィードバックループで測る点に価値がある。ロボットや具身エージェントの評価では、認識や質問応答に加えて、限られた操作回数、途中の観察、精密な制御を組み込む必要があるだろう。ただし、2次元アイコンから作られた制御環境が中心であり、複雑な自然シーンにそのまま一般化できるかは今後の検証課題である。

出典：Hugging Face Daily Papers