環境を複製せずにエージェントを試行拡張するAWM

導入

エージェントが行動を決める前に複数の候補を考え、その中から有望な軌跡を選ぶ方法は、テスト時スケーリング（TTS）の代表的な考え方です。しかし、実際の企業ワークスペース、クラウドサービス、業務アプリケーションでは、候補軌跡をすべて並列実行するのは容易ではありません。環境は共有かつ永続的で、複製にはコストがかかります。さらに、操作によっては元に戻せず、候補同士が状態を汚染し合う可能性もあります。

arXivで発表された論文は、この問題に対してAgentic World Modeling（AWM）を提案しました。AWMの狙いは、環境全体のレプリカを作ることではなく、仮想的な行動の結果を、実環境から取得した安全な証拠を使って構成することです。

予測を「証拠の取得」に置き換える

既存の生成型世界モデルは、環境状態を一つのプロンプトに圧縮し、次の観測を直接生成することが多い方式です。しかし、部分観測の環境では、重要な情報が要約から抜けたり、状態の変化を正確に反映できなかったりします。

AWMでは、次の観測の予測を複数ターンの証拠取得タスクとして扱います。まずシミュレーターが、仮定した行動の結果を推定するために必要な情報を判断します。次に、安全な読み取り専用インターフェースへ問い合わせます。実際に状態を変更する操作は行いません。取得したデータを推論し、必要に応じて実行可能な計算を使いながら、その行動後にエージェントが見るはずの観測を組み立てます。

この観測を候補軌跡へ戻すことで、複数の経路を同じ実環境上で並列に探索できます。実際の副作用を伴う操作は、選択された軌跡まで延期する設計です。つまり、環境の完全なコピーを用意しなくても、候補の比較を行える可能性があります。

実験結果と注意点

論文はτ-bench、AppWorld、OfficeBenchでAWMを評価しました。概要によると、単発シミュレーション基準に対して平均40.07%、学習済み世界モデル基準に対して平均12.36%の改善を報告しています。共有され、簡単にはリセットできない環境では、一度きりの状態要約よりも、実環境から証拠を取り出す対話型シミュレーションが有効である可能性を示す結果です。

一方で、AWMが自動的に正確な世界モデルになるわけではありません。適切な読み取り専用APIが必要であり、問い合わせる情報の選択、返されたデータの解釈、仮想観測の構成にも依存します。提供された概要には、ベンチマークごとの内訳、問い合わせに要する遅延、権限管理の詳細は記載されていません。実運用ではこれらが重要な評価軸になります。

意義

AWMは世界モデルの役割を、受動的な予測器から、質問し、証拠を集め、計算しながら遷移を作るシステムへ広げます。共有データベース、クラウドサービス、業務ツールで安全に候補軌跡を選ぶための一つの設計方針になり得ます。今後は、読み取り専用境界の強制、問い合わせコスト、情報漏えい、シミュレーションと実行結果の差を検証する必要があります。これらを抑えられれば、TTSは環境全体の複製を前提とせずに拡張できるかもしれません。

arXiv