NVIDIA Cosmos 3 Edge、世界モデルをエッジ上のロボットへ

導入

NVIDIA は Cosmos 3 Edge を Hugging Face の Cosmos 3 リポジトリで公開した。狙いは明確だ。ロボットやビジョン AI エージェントが、データセンターだけに頼らず、工場、倉庫、病院といった現場のエッジ環境で周囲を理解し、次に起こり得ることを予測し、行動を生成できるようにすることである。

Cosmos 3 Edge は 40 億パラメータのオープン世界モデルと説明されている。巨大化だけを追うのではなく、メモリ制約のあるデバイス上で高スループット推論を実現することを重視している点が特徴だ。用途としては、小型の視覚言語モデルとして視覚分析や推論に使えるほか、後段学習によってロボット制御向けの世界行動モデルとしても利用できる。

主なポイント

• エッジ向けの世界モデル：NVIDIA RTX PRO、DGX、GeForce RTX、Jetson などのプラットフォームでの動作を想定している。センサーやアクチュエータに近い場所で推論することがテーマになっている。
• 理解、予測、行動を統合：世界モデルは現在の場面を表現するだけでなく、将来の変化を予測し、行動が環境に与える影響を扱う必要がある。Cosmos 3 Edge はこれらを共有表現にまとめようとしている。
• 2 つの Transformer タワー：自己回帰タワーは視覚とテキスト token を処理し、理解と推論を担う。拡散タワーは視覚、音声、行動 token を扱い、予測、生成、ニューラルシミュレーションに使われる。両者は正規化層と MLP を分けつつ、マルチモーダル注意層を共有する。
• 共通の行動表現：車両、カメラ、ロボットアーム、グリッパーでは行動の表し方が異なる。Cosmos 3 は並進、回転、操作状態を含むコンパクトな幾何ベクトルとして行動を符号化する。
• ロボット方策としての利用：方策モードでは、モデルが次の行動と、その行動によって予想される視覚的結果を同時に出力できる。NVIDIA は DROID データセットで後段学習した Cosmos 3 Edge Policy も公開している。
• 後段学習のレシピ：基盤モデルに加え、参照用 checkpoint と学習スクリプトも提供される。Cosmos 3 Super 4-Step Distillation では、拡散の denoising ステップを 4 に減らす高速化の例も示されている。

意義と影響

Cosmos 3 Edge の重要性は、単なるマルチモーダルモデルであることではない。知覚、時間的予測、制御を、エッジで動かせる形に近づけようとしている点にある。物理 AI にとって、オンデバイス推論は低遅延、応答性の向上、クラウド接続への依存低減につながる可能性がある。

また、ロボット AI の方向性も示している。ロボットは物体を認識するだけでは不十分で、接触、動き、空間関係、そして自分の行動が環境に及ぼす結果を理解しなければならない。Cosmos 3 Edge は、言語、映像、音声、行動を共有注意機構で結び、こうした関係を一つの内部表現で扱おうとしている。

ただし、情報源は NVIDIA の公式ブログであり、発表内容にはプロモーション色もある。実際の性能は、後段学習データの質、利用するハードウェア、制御ループへの統合、現場環境での頑健性に左右される。それでも、Hugging Face 上で利用できるオープンな出発点として、ロボティクス、スマートインフラ、ビジョン AI 向けのドメイン適応型世界モデル開発において注目に値する。

出典：Hugging Face Blog