世界モデル

Tencent ARC Lab は、プレイヤー・グループ・全体の3層で情報を交換する動画生成フレームワーク「Multics」を提案した。全結合通信の計算量と、中央集約表現による無関係なイベントの干渉を抑えることを狙う。

RSI-Anythingは、予測型の世界モデルを使って行動と学習データを選び、AIの方策やワークフローを継続的に改善する枠組みです。コード修復、GUI操作、実験計画、反応最適化などで評価されました。

華為ノアの方舟研究室などが開発したMemento 3は、モデルの重みを更新せず、ARC-AGI-3の25ゲーム・183ステージを攻略した。発見したルールを実行可能な世界モデルに変換し、検証と修正を繰り返した点が特徴だ。

字節跳動の元インターン研究員、田柯宇氏が、訓練クラスタをめぐるトラブルと訴訟から2年後、ステルス企業で約3000万ドルを調達したと報じられた。投資後評価額は2億ドルで、事業の中心は世界モデルだという。

DreamTrue は、入力された動作に忠実で、物理的にも妥当な未来映像を生成することを目指す、多視点・異種ロボット対応の世界モデルです。画像空間での幾何補正、反実仮想ポストトレーニング、人手評価に基づく報酬モデルを組み合わせています。

WorldGuideは、手順型タスクの動画生成を閉ループ実行として扱う。現在の視覚状態から次の原子アクションを計画し、対応する動画を生成したうえで、その結果に基づき次の行動または終了を決める。

Trace2Envは、元の実行可能システムを再構築せず、過去の相互作用ログから対話型環境を再現する。世界モデルエージェントが観測と持続的な状態変化を推論し、タスクエージェントの訓練や評価を支える。

WorldSonusは、動画からリアルタイムに制御可能なステレオ音声を生成する、世界モデル向けのインタラクティブなフレームワークです。論文ではRTF 0.41を報告し、オープンドメインの動画音声生成ベンチマークでも高い性能を示しています。

RoboJEPAは、12種類のロボット形態からなる実データで潜在世界モデルを学習し、計算量の増加に伴う性能変化を調べた。潜在ロールアウトの誤差は、実機での計画性能と強く結び付いているという。

新しいベンチマークは、参照動画との見た目の一致ではなく、動画内で観測できる物理的関係を直接測定する。8つの動画生成モデルを調べた結果、視覚的に説得力のある出力でも物理的一貫性には課題が残った。

HLA-WMは、カメラ幾何に基づく履歴検索と再帰的線形注意を組み合わせ、追加学習なしで長時間動画のシーン再訪整合性とカメラ制御を改善する。

RealtimeWAMは、世界行動モデルにおける多段階の行動デノイズと、動画エキスパートと行動エキスパート間の待ち時間を同時に削減する。論文では、H100上で最大25倍のエンドツーエンド高速化と、1％未満の精度低下が報告されている。

動画世界モデルでは、長期的な時間的一貫性を保つためKVキャッシュが増え続けます。QuantWMは数値誤差だけでなく、量子化後の注意の動きを維持することでちらつきを抑えます。

JEPA-TTTは、学習時と異なる環境ダイナミクスに直面した際、事前学習済みJEPA世界モデルを運用中に適応させる手法です。視覚表現と報酬ヘッドを固定し、潜在ダイナミクス予測器だけを自己教師ありで更新します。

ProWAMは、世界行動モデルに順序付きの疎な視覚サブゴールを導入し、未来の動画全体を生成せずにロボットへ中間目標を与える。複数のシミュレーション評価で、分布外環境に対する頑健性の向上が報告された。

HelixWorldは、映像だけを生成する従来のインタラクティブ世界モデルに、カメラ位置に対応したステレオ音響を組み込む。視点やユーザー操作に応じて映像と音場を同時に変化させ、音響的一貫性を評価するベンチマークも導入した。

World Embedding Benchmarkは、動画埋め込みが物理概念と正しく対応し、定量的な情報を保持しているかを評価する。実験は、物理信号が表現内に存在することと、それを他モダリティで利用できることが別問題であると示した。

World Observerは、行動主体の視点と観測者の視点を分離し、複数の視点を同時に生成する手法です。物体が行動主体の視野を離れた後も観測者側で変化を続けさせ、再び視野に入った際の状態と外観の一貫性を高めます。

AutoGUIWorldは、画像生成モデルの視覚的な事前知識とタスクプランナーを組み合わせ、実際のソフトウェアを起動せずにGUI操作軌跡を合成する。複数のOSやブラウザを対象としたデータで、コンピュータ操作エージェントの性能向上を検証した。

LOCIは、キー・バリューキャッシュと再帰的な線形メモリを組み合わせ、カメラが過去に見た場所へ戻った際の映像再現性を高める手法です。カメラの投影幾何を記憶の読み書きに利用し、長い動画をより少ないメモリで処理します。

NVIDIAの研究チームは、物体や因果関係、相互作用、時間変化を記述する物理言語を、動画の収集・学習・生成に共通する表現として扱うPhysis-Langを提案しました。原子レベルの断言評価と言語誘導検索により、物理的に妥当な動画生成を目指します。