李飛飛氏のWorld Labs、画像から3D世界を構築するAtlasを発表

概要

李飛飛氏が率いるWorld Labsは、新しい世界モデル「Atlas」を発表した。同社の説明によれば、Atlasは単に見た目の自然な動画を作るモデルではない。シーンの三次元構造、時間による変化、そしてその中を移動するカメラを一つの文脈で扱うことを目指している。1枚、あるいは複数枚の画像を入力すると、別の視点から観察できる世界を補完する。

主な機能

• カメラ制御生成：入力画像を基に、ピクセル単位でカメラを制御した画像や動画を生成できる。公開資料では、最大1分、1440pの動画出力に対応するとされている。
• 疎な視点からの3D再構築：1枚から数十枚の画像を使って実世界のシーンを再構築し、新しい視点のフレームと明示的な3D表現を出力する。
• 時空間モデリング：動画から空間と時間を同時に学習し、視点変換や映像効果、ロボットのReal-to-Sim処理に利用できる。
• 多様な生成：テキストから画像や360度パノラマを生成し、画像、動画、深度マップ、カメラ姿勢などを扱う。

技術的な特徴

Atlasの中核は、マルチモーダル自己回帰拡散Transformerだ。テキスト、画像、動画フレーム、深度情報、カメラ姿勢を、三次元空間上の位置に結び付いた系列として表現する。これにより、異なるデータ形式が共通の空間コンテキストに置かれ、その文脈を条件に新たな出力を生成できる。

自己回帰方式は、入力と出力の並びを変えることで複数のタスクに対応しやすい。拡散方式は画像や動画のような高次元データの生成を担い、Transformerが系列全体の関係を処理する。World Labsは、KV Cacheや拡散蒸留など、大規模モデルの推論および画像・動画生成で使われる最適化手法も活用できるとしている。

ロボットへの影響

Atlasで特に注目されるのは、ロボット学習との接続だ。実機から大量の訓練データを集めるにはコストがかかるが、数枚の写真から現実に近いRGB画像や深度データを生成し、条件の異なるシミュレーション空間を作れれば、Real-to-Simの工程を短縮できる可能性がある。

これは、World Labsがシミュレーターを世界モデルの基盤と位置付け、Real-to-Sim-to-Realの方向を示してきた流れとも一致する。もっとも、生成された形状、深度、動力学が多様なタスクで十分に信頼できるかは、今後の検証が必要だ。Atlasは一部パートナー向けの早期アクセス段階であり、公開情報だけで汎用的な物理シミュレーターと評価するのは早い。現時点では、空間コンテキストを統一する設計の可能性を示す発表と見るのが適切だろう。

出典：量子位