記事一覧へ戻る

TuringSpace、対話型CAPTCHAで空間知能を検証

読了目安 3 分

概要

画像内の物体を認識できることと、物体同士の空間関係を理解することは同じではない。視覚環境で行動するには、二次元の画面から三次元の配置を推定し、操作による変化を予測し、結果を見て必要なら判断を修正する必要がある。TuringSpaceは、この一連のループを評価するための環境だ。選択肢から答えを選ぶのではなく、ブラウザー上でクリックやドラッグを行う。

主なポイント

  • 行動を伴う空間ベンチマーク。 TuringSpaceは、5種類の空間能力を扱う125個の合成ウェブCAPTCHAで構成される。画面上のクリックとドラッグで課題を解き、操作後に表示される視覚的なフィードバックを次の行動に反映する必要がある。
  • 人間との間には差が残る。 人間の成功率は94.1%。比較対象の中で最も高いGPT-6 Astraは74.1%で、25.9%の課題を解けなかった。オープンウェイトモデルではKimi K3が最良だったものの、失敗率は68.0%だった。画像を認識できても、視覚環境で安定して行動できるとは限らない。
  • 画面の読み違いが主要な失敗要因。 論文の分析では、失敗の多くはスクリーンショットの誤読による。操作後にフィードバックが得られても、モデルの推論が誤った認識を修正することは少なく、むしろ当初の解釈を正当化する根拠を作り出す場合があるという。推論を長くするだけでは、最初の知覚ミスを補えない可能性がある。
  • 評価課題を訓練にも利用。 各課題はプログラムで生成され、判定器と正解軌跡を備えるため、新しいインスタンスを作成し、検証済みデータを訓練に使える。Qwen3.5-9Bを55K件の軌跡で微調整した結果、成功率は1.6%から33.1%に上昇し、Kimi K3を上回った。7つの分布外ベンチマークでも改善し、VSI-Benchの実世界の室内動画では9.9ポイント向上した。

意義と限界

TuringSpaceの意義は、空間理解を「見る・行動する・結果を受けて修正する」という連続したプロセスとして測る点にある。クリックやドラッグを要求することで、画像認識や言語による説明だけでは捉えにくい、位置関係の理解や操作結果の予測を検証できる。課題の自動生成と正解軌跡は、評価に加えて訓練環境としての活用も可能にする。

一方、微調整後のモデルもTuringSpaceでは人間の成績に届いていない。対象を絞った訓練で能力が向上することは示されたが、汎用的な空間知能が実現したとまでは言えない。コンピューター操作やロボットの指示など、より幅広い現実環境で知覚と判断の修正が安定して行えるかは、今後の検証課題となる。

出典:Hugging Face Daily Papers

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
DailySafe、日常のマルチモーダル対話における動的な安全認識を評価
モデル評価
cctest.ai
モデル評価

DailySafe、日常のマルチモーダル対話における動的な安全認識を評価

DailySafeは、日常的なタスクが複数ターンにわたって進むなかで、マルチモーダルモデルが文脈に潜むリスクを見つけられるかを測るベンチマークです。危険の検知だけでなく、ユーザーの正当な目的を支援し続けられるかにも注目します。

続きを読む
CCTest · Blog
AltRA-Test:人間の注釈者をLLMで置き換えられるか検証
モデル評価
cctest.ai
モデル評価

AltRA-Test:人間の注釈者をLLMで置き換えられるか検証

AltRA-Testは、項目ごとに異なる人が注釈する状況を想定し、全員が人間のパネルと人間・LLM混合パネルの一致度を比較します。注釈者が全データで共通していなくても、LLMによる代替を統計的に検証できます。

続きを読む