Foundation4D：自動運転の知覚と4Dシーン再構成を統合

導入

自動運転システムでは、深度推定、3D物体検出、占有予測、シーン再構成を別々のモジュールとして構成することが多い。この分割は各タスクを個別に最適化しやすい一方、タスク間で有用な情報を共有しにくいという課題がある。幾何構造は物体の位置推定を助け、物体情報は空間理解を補強できる。NVIDIAのFoundation4Dは、複数カメラの走行映像を単一のフィードフォワードモデルで扱い、この関係を活用しようとする研究である。

モデルの構成

Foundation4Dは複数カメラの連続映像を入力し、シーン幾何、3D物体検出、意味占有、ガウス表現による再構成という4種類の出力を生成する。共有バックボーンには因子化された時空間アテンションを採用し、異なる視点とフレームの観測を統合する。完全な時空間アテンションより計算量を抑えながら、深度、動き、遮蔽の推定に役立つ動画コンテキストを保持することが狙いだ。

動画推論の処理もモデル設計の一部に含まれる。まず、ポーズグラフ最適化によってカメラ軌跡を精密化し、連続観測間の姿勢の不整合を抑える。さらに、異なる入力ウィンドウで得られた物体軌跡をつなぎ合わせ、より長い追跡結果を構成する。つまり、単に複数タスクを一つのネットワークで処理するだけでなく、走行中の幾何的一貫性と時間的一貫性にも対応している。

データと結果

研究チームはPAI-Foundation4Dベンチマークも公開した。これは1,253本の走行クリップからなり、密な深度と意味占有のアノテーションを含む。論文概要によれば、各ベンチマーク向けにファインチューニングした場合、WaymoとnuScenesの深度AbsRel、nuScenesの検出mAP、OpenOccupancyの占有mIoUで、比較手法の中でも高い結果を示した。ただし、これらは対象データセットと設定に依存する結果であり、あらゆる走行環境で優位だと解釈することはできない。

タスク組み合わせの実験も重要である。検出を幾何および占有と共同学習すると、検出だけを学習した場合に比べ、主要クラスのmAPが1.2ポイント向上した。反対に、幾何推定へ検出を加えると、幾何のみの学習に比べてカメラから車体座標系への並進誤差が13.4%低下した。異なるタスクの教師信号が、単なる計算共有を超えて相互補完する可能性を示している。

意義と残る課題

Foundation4Dは、専門モジュールの集合から、より広いシーン理解モデルへ移行する方向性を示す。推定された幾何と軌跡はLiDARなしのNuRecにおける事前情報としても利用され、走行シーンのシミュレーション用再構成を支える。

一方、提供された概要だけでは、モデル規模、推論遅延、詳細なデータセット別スコア、悪天候や低照度での頑健性は分からない。実車展開には、計算コスト、失敗モード、時間安定性、安全検証を個別に評価する必要がある。それでも、マルチタスク学習、動画単位の推論、密なラベルを備えた新ベンチマークを一体化した点は、視覚ベースの自動運転研究にとって注目すべき進展である。

出典：Hugging Face Daily Papers