コードで世界を進化させる：Coding Agentを「世界の脳」にするCode World Model

導入

動画ベースのワールドモデルは、連続する映像から環境の変化を学習します。しかし映像が示すのは主に結果であり、その結果を生み出した規則や知識、因果関係まで明示するとは限りません。ある物体が移動したことは映像から分かっても、なぜ移動したのか、またその出来事が後続の状態にどう影響するのかを長期にわたって保持するのは容易ではありません。Code World Model（CWM）は、世界の進化と視覚的な実現を分離することで、この問題に取り組みます。

主な仕組み

• コーディングエージェントが世界の脳になる。 言語モデルが操作やイベントの結果を推論し、実行可能なコードを生成します。コードは世界の状態を保持し、オブジェクトの属性やイベントの影響を更新します。
• 進化と描画を分担する。 世界がどう変化するかはコード側で決め、高品質な映像としてどう見せるかは動画モデルに任せます。次のフレームを直接予測するだけでなく、明示的な状態とルールを介して変化を管理する構成です。
• 代理表現が両者をつなぐ。 研究では、オブジェクトや動きなどをフレームごとの時空間制約として表す代理表現を導入しました。この情報を代理動画へ変換し、動画モデルの条件として利用します。
• 対応付けられたデータを構築する。 ゲームプレイや実世界の動画から、代理表現と観測映像のペアを作るデータパイプラインを整備しています。ゲームデータで微調整したMiniMax-H3は、コーディングエージェントが構築した単純なインタラクティブ世界の仕様に従い、視覚的な細部や動きを保ちました。

意義と課題

CWMの意義は、ワールドモデルの役割を明確に分けた点にあります。実行可能なコードは持続的な状態変化を明示的に扱い、動画生成モデルは柔軟で豊かな視覚表現を担います。長期的な結果や一貫したルールが必要な環境では、画素だけから世界を予測するよりも、状態を追跡しやすい制御方法になる可能性があります。ルールの変更や状態変化の確認にもつながります。

一方、今回の結果は、コーディングエージェントが作る単純なインタラクティブ世界とゲームプレイのペアデータを中心としています。複雑な物理法則、社会的ルール、現実世界の状況を代理表現がどこまで扱えるか、コードによる状態更新と映像生成が複雑化しても整合するかは、今後の検証課題です。それでも、プログラムによる世界状態と生成映像を組み合わせる方向性を示した研究だと言えます。

出典：Hugging Face Daily Papers