Mental World Modeling：世界モデルは場面だけでなく心も扱うべきか

導入

世界モデルは一般に、外界を内部でシミュレートする仕組みとして語られます。どんな物体があり、どこにあり、次に दृश्यがどう変化するのか。これは計画や行動生成にとって重要ですが、論文 Mental World Modeling は、そこに人間行動を理解するうえで欠けている要素があると指摘します。物理的な場面を正確に復元できても、人の次の行動を正しく予測できるとは限りません。人は見えている物体だけでなく、信念、欲求、意図、感情、そして社会的に許されるかどうかという判断に基づいて行動するからです。

核心ポイント

• 物理的に同じ場面でも行動は変わる：外から見ると同じような状況でも、当事者が何を知っているか、何を誤解しているか、何を望んでいるかによって選ぶ行動は大きく変わります。
• MWM は心理変数を世界状態に含める：Mental World Modeling は、信念、欲求、意図、感情、社会的制約を事後的な説明ではなく、世界モデルそのものの構成要素として扱います。
• 対象者ごとの部分観測を生成する：ある人物が実際に見たもの、聞いたもの、知っていること、推測できることは、全体の物理状態とは一致しません。MWM は対象人物の視点に立った観測を明示的に扱います。
• 行動は物理世界と心理世界を同時に変える：ある行動は物体の位置を変えるだけでなく、他者の認識、期待、感情、人間関係にも影響します。そのため候補行動のシミュレーションでは、物理状態と心理・社会状態を結合して更新します。
• MENTIS は検査可能な基準実装：著者らは MENTIS を提示しています。これは追加訓練を必要とせず、状態解析、対象観測生成、行動分解、結合状態遷移、分岐評価、最終判断という段階に処理を分解する仕組みです。

実験から見えること

研究では、テキスト、画像、音声付き動画ストーリーにまたがる、手作業で構築され品質管理された状況判断データセットを用いて評価が行われました。8 つの現代的な LLM ベースの世界モデルを用いた実験から、人物の心理状態を明示的に扱うことが、人間の意思決定を予測するうえで不可欠であることが示されています。

重要なのは、現在の大規模言語モデルが信念や意図をまったく推論できないという話ではありません。むしろ問題は、それらを安定した構造化状態として維持し続けることが難しい点にあります。MENTIS は中間過程を分解することで、失敗が場面理解、対象者の部分観測、信念更新、行動評価のどこで起きたのかを調べやすくします。

意義と影響

MWM は、世界モデル研究の射程を物理シーンの予測から、その中で行動する人間の心のシミュレーションへ広げる提案です。これは AI エージェント、身体性 AI、人間との協働、映像理解、社会的推論にとって重要です。家庭、職場、教育、ケアのような現実環境で AI が人と関わるには、「世界が客観的にどうなっているか」だけでなく、「各人がその世界をどう理解しているか」を把握する必要があります。

この研究は、行動予測の難しさが単なる知覚精度や推論ステップ数の問題ではないことを示しています。より有用な世界モデルは、外界の変化と、それを人がどう解釈し反応するかを同時に扱う必要があるのかもしれません。

出典：Hugging Face Daily Papers