World Labs、世界モデルをロボット訓練の閉ループへ

導入

李飛飛氏が率いる World Labs は、「世界モデル」を美しい3D生成にとどめず、ロボット学習の実用レイヤーへ押し出そうとしている。新たに買収したロボットシミュレーション企業 SceniX の力を取り込み、同社は Real-to-sim-to-real（R2S2R）を発表した。現実のロボット課題を仮想世界に移し、そこで訓練と評価を行い、最後に方策を実機へ戻す仕組みだ。

核心ポイント

• Real-to-Simは現実課題をデジタル化する。 ロボット、センサー、環境、物体、タスク実演などを取り込み、現実の課題に対応したインタラクティブな仮想世界を再構成する。見た目だけでなく、幾何、物体の動き、接触時の反応もできるだけ合わせることが重要になる。
• Sim-to-Realは仮想世界を訓練場にする。 整合された環境で方策を学習し、checkpointを評価し、失敗しやすい状態を能動的に探す。これにより「弱点発見、経験追加、方策改善、実機展開」という反復サイクルが生まれる。
• 評価の焦点は完全一致ではない。 重要なのは、シミュレーションと現実が同じ成功率を示すことではなく、どの方策が優れているか、どこで失敗するか、改善が実機へ移るかを近い形で判断できることだ。
• SceniXが不足していたピースを埋める。 World Labsは生成モデル、コンピュータビジョン、3D再構成に強い。一方、SceniXはロボットシミュレーション、学習アルゴリズム、ハードウェア運用を知る。両者の統合は、ロボット形状やモデル構成に依存しにくい訓練基盤を目指している。

意味と影響

身体性AIのボトルネックは、もはやモデル設計だけではない。現実のロボット実験は遅く、高価で、失敗後のリセットにも手間がかかる。大量の人間動画があっても、物体状態、物理特性、失敗条件を体系的に覆う相互作用データにはなりにくい。

R2S2Rは、仮想環境を単なる安価な代替データ源ではなく、現実課題を多数の制御可能な学習世界へ拡張する基盤として位置づける。もし現実との整合性が十分に保たれれば、世界モデルは方策選別、劣化検出、追加データ設計、実機試行の削減に使われる中核インフラになり得る。

これは、李飛飛氏が整理した世界モデルの役割のうち「シミュレーター」を前面に出す動きでもある。世界を生成するだけでなく、機械がその中で行動を練習できる世界を作る段階に入ったと言える。

出典：量子位