概要
画像内の物体を認識できることと、物体同士の空間関係を理解することは同じではない。視覚環境で行動するには、二次元の画面から三次元の配置を推定し、操作による変化を予測し、結果を見て必要なら判断を修正する必要がある。TuringSpaceは、この一連のループを評価するための環境だ。選択肢から答えを選ぶのではなく、ブラウザー上でクリックやドラッグを行う。
主なポイント
- 行動を伴う空間ベンチマーク。 TuringSpaceは、5種類の空間能力を扱う125個の合成ウェブCAPTCHAで構成される。画面上のクリックとドラッグで課題を解き、操作後に表示される視覚的なフィードバックを次の行動に反映する必要がある。
- 人間との間には差が残る。 人間の成功率は94.1%。比較対象の中で最も高いGPT-6 Astraは74.1%で、25.9%の課題を解けなかった。オープンウェイトモデルではKimi K3が最良だったものの、失敗率は68.0%だった。画像を認識できても、視覚環境で安定して行動できるとは限らない。
- 画面の読み違いが主要な失敗要因。 論文の分析では、失敗の多くはスクリーンショットの誤読による。操作後にフィードバックが得られても、モデルの推論が誤った認識を修正することは少なく、むしろ当初の解釈を正当化する根拠を作り出す場合があるという。推論を長くするだけでは、最初の知覚ミスを補えない可能性がある。
- 評価課題を訓練にも利用。 各課題はプログラムで生成され、判定器と正解軌跡を備えるため、新しいインスタンスを作成し、検証済みデータを訓練に使える。Qwen3.5-9Bを55K件の軌跡で微調整した結果、成功率は1.6%から33.1%に上昇し、Kimi K3を上回った。7つの分布外ベンチマークでも改善し、VSI-Benchの実世界の室内動画では9.9ポイント向上した。
意義と限界
TuringSpaceの意義は、空間理解を「見る・行動する・結果を受けて修正する」という連続したプロセスとして測る点にある。クリックやドラッグを要求することで、画像認識や言語による説明だけでは捉えにくい、位置関係の理解や操作結果の予測を検証できる。課題の自動生成と正解軌跡は、評価に加えて訓練環境としての活用も可能にする。
一方、微調整後のモデルもTuringSpaceでは人間の成績に届いていない。対象を絞った訓練で能力が向上することは示されたが、汎用的な空間知能が実現したとまでは言えない。コンピューター操作やロボットの指示など、より幅広い現実環境で知覚と判断の修正が安定して行えるかは、今後の検証課題となる。
コメント
ログイン状態を確認中…
コメントを読み込み中…