Dual Examがマルチモーダルエージェントと世界モデルを分離評価

はじめに

世界モデルは、マルチモーダルエージェントの内部シミュレーターとして期待されている。エージェントは、実環境で行動する前に結果を予測し、仮想的な経験を通じて学習できる。また、エージェントが生成する軌跡は、世界モデルの改善にも利用できる。しかし、両者を一つの閉ループでしか評価しない場合、タスクの失敗原因が行動選択にあるのか、環境状態の予測にあるのかを切り分けにくい。

論文「Dual Exam」はこの問題に対し、評価を二つの軌道に分けた。複合システムの単一スコアを能力の証明とみなすのではなく、制御された条件で各コンポーネントの実力を測定し、それが協調成功につながるかを別途問う構成である。

主なポイント

• エージェント軌道では環境応答を固定。 物理、デジタル、社会、科学の領域にまたがる1,088件を使い、10種類の構成を15の報告カテゴリーで比較した。行動選択を中心とするケース加重Agent Indexでは、GPT 6 Astraが31.3で首位となった。
• 世界モデル軌道では行動介入を固定。 8シナリオ、400ケースで、与えられた行動後に状態を適切に進められるか、タスクに関係する情報を保持できるかを調べた。全シナリオをカバーした構成は15種類で、GPT-Image-2のWM Overallは21.7だった。
• 二つの数値は直接比較できない。 各軌道は異なるタスクと指標を使うため、スコアはそれぞれの評価内で解釈すべきであり、総合的なモデル順位を示すものではない。
• 閉ループの協調は未解決。 一つの結合ペアを150ケースで試したパイロットでは、タスク成功はゼロだった。すべての組み合わせが失敗することを意味しないが、個別能力の高さだけでは協調成功を保証できない。

意義と影響

Dual Examの意義は、評価の失敗をより細かく分析できる点にある。画像や指示を正しく理解するエージェントでも、効果的な行動を選べるとは限らない。一方、世界モデルがもっともらしい未来を生成しても、物体、関係、状態変化といったタスク上重要な情報を落としている可能性がある。行動選択と状態遷移を分離すれば、どの段階で問題が生じたかを確認しやすい。

同時に、この研究は「優れた世界モデルとエージェントを組み合わせれば、相互学習が自動的に進む」という見方に慎重な材料を提供する。現時点で示されているのは、性能のばらつきと、タスクに必要な状態保持の難しさである。独立したスコアが長期的な閉ループ成功を予測できるか、反復的な相互作用によって双方が改善するかは、まだ確立されていない。

今後は、診断性を維持しながら二つの評価軌道を結び付ける必要がある。単発の予測や見栄えのよい生成ではなく、長いタスクの間、一貫して有用な内部状態を維持できるかが次の焦点になりそうだ。

出典：Hugging Face Daily Papers