世界モデル

PhiZero は、世界状態の遷移をコンパクトな離散表現として扱う「物理言語」を中心に構築された物理世界モデルです。未来映像を画素空間で直接予測するのではなく、まず物理的な変化を推論し、その後に映像として描画します。

李飛飛氏の World Labs は、現実のロボット課題をシミュレーションに再構成し、そこで方策を訓練・評価して実機へ戻す R2S2R エンジンを発表した。

Wonder は、動画生成を固定クリップの生成ではなく、ユーザーがカメラを動かして探索できる「プレイ可能な世界」の生成として捉え直す研究です。

NVIDIA は、外科ロボット向けのアクション条件付き生成シミュレータ Cosmos-H-Dreams を公開した。Cosmos-H-Surgical-Simulator の能力を因果的な少ステップ学生モデルへ蒸留し、FlashDreams でストリーミング推論する構成だ。

WorldWeaver は、ストリーミング型の自己回帰拡散動画モデルに「世界状態レジスタ」を加え、複数エージェントと複数視点の間で一貫した環境状態を保つことを狙う手法です。

兔展智能、北京大学、鵬城実験室が開発した UniWorld-View が、李飛飛氏のチームに関連する WorldScore ランキングで首位に立った。単一画像または単眼動画から、指定したカメラ軌道に沿う新視点動画を生成できる点が注目されている。

AlayaWorld は、テキスト、画像、動画から探索可能で変化し続ける仮想環境を生成することを目指す。焦点は短い動画の見栄えだけでなく、対話性、長期一貫性、応答効率にある。

ABot-World-0 は、映像生成をユーザー操作に反応する世界モデルとして再構成する研究です。データ収集、長時間ロールアウトの蒸留、低ビット推論を組み合わせ、単一の RTX 5090 上で 720P のストリーミング生成を目指します。

Masked Visual Actions は、動画内の一部だけ見える軌跡として行動を表す手法です。ロボットの動きを与えれば場面の反応を予測し、望む物体運動を与えればそれに合うロボット動作を生成することを狙います。

AlayaRenderer-Flash は、生成型ワールドレンダリングの速度を 0.56 FPS から 31.54 FPS へ引き上げ、物理エンジンと連携するインタラクティブ環境を実時間に近づけた。テキストだけで動画を作るのではなく、構造化された世界状態から RGB フレームを合成する点が特徴だ。

EvolvingWorldは、単発の会話生成ではなく、物語の進行に合わせて人物と世界の状態が更新され続ける仕組みを提案する。静的な人物模倣から、長期的な整合性を重視する方向へ踏み出した研究だ。

この論文は、Masked Diffusion Language Modelsをテキストベースの世界モデルとして用いることで、自回帰モデルの左から右への生成バイアスを緩和できると主張している。工具スキーマ、過去の対話、期待される結果などのグローバルな制約を保ちやすい点が焦点だ。

NVIDIA は Hugging Face 上で、ロボットとビジョン AI 向けの 40 億パラメータ級オープン世界モデル Cosmos 3 Edge を公開した。場面理解、未来予測、シミュレーション、行動生成をエッジデバイスで扱うことを狙う。

DSWorld は、データサイエンス向け自律エージェントに世界モデルの考え方を導入し、高コストな実行の前に操作結果を予測する。論文では、RL ベースの訓練を約 14 倍、探索ベース推論を約 3〜6 倍高速化したと報告している。

UniVR は、画像テキスト対に頼らず、純粋な視覚デモから複雑な推論、物理ダイナミクス、長期計画を同時に学ぶことを目指す研究です。中核には VR-GRPO と、純視覚評価のための VR-X ベンチマークがあります。

新しい arXiv 論文は、生成型ゲームエンジンの議論を「行動・状態・観測」という古典的なゲームループから捉え直している。重要なのは高品質な映像生成だけでなく、ルールに従う状態変化と長期的な一貫性だ。

arXiv に公開された M⁴World は、周囲カメラ映像と同期 LiDAR を生成しつつ、物体単位の操作を可能にする運転世界モデルです。論文は、制御性と分単位の安定したストリーミング生成を主要な課題として扱っています。