NVIDIA、対話型世界シミュレーション向けCosmos 3公開モデルを4種追加

世界モデルに求められるのは、見た目の自然な動画を一度生成することだけではない。エージェントの行動、環境の状態、過去の観測を踏まえ、次に何が見えるかを継続的に予測できることが重要になる。NVIDIAは今回、Cosmos 3 Nanoを基盤とする4つのオープンウェイトモデルを公開し、自動運転とロボットの対話型シミュレーションを対象にした。

主なポイント

• Transfer-Auto：制御可能な運転データ生成。 最大11視点のカメラ映像を生成でき、魚眼カメラにも対応する。RGBとLiDARを同期して生成できるほか、World Scenario Mapで道路構造や交通の動きを指定し、テキストで天候、照明、時間帯などの見た目を変えられる。別のセンサー構成や走行領域への追加学習にも利用できる。
• Sim-Auto：ストリーミング型の運転シミュレーション。 Transfer-Autoを因果学習と蒸留で最適化したモデルで、運転制御、シーン制御、生成済みの履歴から、カメラとLiDARの短い同期観測を連続生成する。閉ループで動かすには、制御を更新するシミュレーション実行環境とWSMレンダラーが必要になる。
• Sim-Transfer：シミュレーター状態からRGBへ。 物理シミュレーターが運動や接触、物理状態を計算し、モデルは深度、セグメンテーション、エッジ、ぼかしなどの空間制御とテキストを使ってRGB映像を生成する。物理計算と視覚表現を分担できる点が特徴だ。
• Sim-Bimanual：双腕操作後の観測を予測。 YAMとAgiBotのロボット形態を対象に、初期画像と双腕アクションから次の観測を生成する。座標系、回転、グリッパー校正、マスク、時間対応など、公開されたアクション形式に従う必要がある。

技術と注意点

4モデルはいずれもCosmos 3 Nanoの追加学習例で、学習可能パラメータは16B。OpenMDW1.1を採用しているため、利用時は同ライセンスの条件を確認する必要がある。Cosmos 3はテキスト処理ネットワークと映像生成ネットワークをMixture-of-Transformersで接続し、制御情報と生成履歴から映像を短い単位で予測する。時間因果注意機構によって未来の観測を参照せず、圧縮潜在表現とKVキャッシュで連続生成を支える。

意義

今回の公開は、動画生成を単発のレンダリングではなく、行動と観測の循環として扱うための複数の接続方法を示している。自動運転では視覚と3Dセンシングを同期させ、ロボットでは操作結果を観測し、物理シミュレーターと生成モデルの役割を組み合わせられる。

一方、長時間ロールアウトでの誤差蓄積、物理状態との整合性、政策の学習や評価に利用できる信頼性は、今後の検証課題だ。オープンウェイトであっても、実運用には対象センサーや環境に合わせた適応と評価が欠かせない。

Hugging Face Blog