何恺明氏のチーム、マルチモーダルモデル向け視覚Harness「VISTA」を発表

概要

マルチモーダルモデルが画像を理解できても、長い対話的タスクの中で過去の視覚経験を正確に保存し、再利用できるとは限らない。何恺明氏のチームは論文「VISTA: A Visual Harness for Reasoning in an Interactive World」で、この問題に取り組む視覚ネイティブなHarnessを提案した。

VISTAは基盤モデルを再学習する仕組みではない。モデルが視覚情報を受け取り、保存し、必要なときに呼び戻す方法を変える。環境から得た生の画面をアクティブなコンテキストの外部に保管し、推論に必要になった段階で再び入力するため、初期の画面がコンテキスト制限で失われたり、不完全なテキスト要約に置き換えられたりすることを防ぐ。

主要な仕組み

• 視覚観測：現在の環境をそのままモデルに提示する。ARC-AGI-3では、公式の64×64画面を512×512のPNGに拡大し、色、外観、空間関係を保持した。
• 無損失の視覚記憶：行動後に返される全画面を保存する。行動中の中間フレームも含め、エピソード番号とフレーム番号で管理する。
• 能動的な視覚検査：inspectツールを使い、指定した過去の画面を呼び出せる。領域の切り出しや拡大、複数フレームの比較も可能だ。

各ステップでモデルは現在の状態を観察し、次の行動について仮説を立てる。証拠が足りなければ過去の画面を再確認し、細部や画素情報を調べる。行動後には予測と実際の変化を比較し、環境のルールに関する理解を修正する。

長時間タスクを維持するため、VISTAは2種類のテキストメモも利用する。GUIDE.mdには複数のステージで再利用できるルールや経験を記録し、WORKING.mdには現在の状態、進捗、次の計画を記録する。通常、アクティブなコンテキストに表示するのは行動後の最後のフレームだけで、中間フレームは必要なときに取り出す設計だ。

実験結果と意味

ARC-AGI-3では、VISTAを組み合わせたClaude Opus 5.0が公開25ゲームをすべてクリアし、行動効率スコア100を達成した。GPT-5.6 Solも全ゲームをクリアし、スコア99を記録した。同じGPT-5.6 Solを使った比較では、GameWorldの成功率が40.0%から63.3%へ、AI GameStoreの総合スコアが47.3から140.3へ、BabyVisionの迷路・線結び課題の正解率が41.0%から63.2%へ向上した。

この研究が示すのは、Harnessがテキスト管理層だけでなく、マルチモーダルエージェントの視覚記憶層にもなり得るということだ。生の証拠を残し、必要な情報だけを再確認する設計は、外観や空間関係、動的変化を扱う推論に有効だろう。一方、今回の検証は主にゲームとパズルであり、開放的な物理環境へ安定して適用できるかは今後の課題である。

出典：量子位