高徳がABot-Reconを公開、12フレームで万フレーム級の3D再構築

概要

高徳は、カメラを動かしながら3Dシーンを逐次復元するストリーミング3D再構築モデル「ABot-Recon」を公開した。一般的な長系列処理では、過去の情報を記憶アンカーとして保存し、現在の推定と照合する方法が使われる。しかし、映像が長くなるほど検索や融合の負荷が増え、速度やメモリ効率に影響しやすい。

ABot-Reconはこの問題に対し、直近12フレームだけを局所的なコンテキストとして利用する。映像全体を一度に理解するのではなく、現在のカメラ座標系における局所点群と、隣接する2フレーム間の相対姿勢を予測し、その結果を順次つなぎ合わせる設計だ。

主なポイント

• 長期記憶に依存しない。 系列の長さに応じて増え続ける記憶アンカーを使わず、固定長の局所ウィンドウで処理する。
• オンラインで全体を構成する。 局所的な予測を組み合わせ、撮影しながらグローバルな軌跡と3Dシーンを更新する。
• ドリフトへの対策を組み込む。 プロジェクトの説明によると、学習時の誤差制約と推論時の補正機構によって、局所推定の誤差が蓄積する問題を抑える。
• 入力条件を簡素化。 追加の深度センサーや既知のカメラパラメータを必要とせず、単眼RGB映像を入力にできる。ピークメモリは約6.71GBで、消費者向けのGTX 1080 Tiでも動作すると高徳は説明している。

公開された評価結果

高徳によれば、Oxford Spiresの長系列ベンチマークでは、ABot-Reconの平均軌跡誤差がLingBot-Mapより40.6%低く、相対回転誤差RPE-Rは0.12度だった。KITTI-02では推論速度24.45 FPSを記録し、比較対象の約1.24倍とされる。また、ピークメモリ使用量は同種モデルの約3分の1と報告されている。これらはプロジェクト側が示した数値であり、実際の結果はハードウェアや入力映像、評価条件によって変わり得る。

意義と課題

ストリーミング3D再構築では、過去の情報を多く保持すれば全体の整合性を保ちやすい一方、長い系列では計算とメモリのコストが増える。ABot-Reconは、各時点の推定を局所化し、オンライン接続と補正によって長距離の軌跡を維持するという逆向きのアプローチを取る。長い動画でも資源消費を抑えられれば、リアルタイムの私有空間マッピングに適用しやすくなる可能性がある。

想定用途には、倉庫、キャンパス、商業施設などでの地図更新、具身AIの環境認識、自動運転、3Dコンテンツ制作が挙げられる。一方で、遮蔽、急激なカメラ移動、テクスチャの乏しい場所、長期的なループ整合性などは、局所予測方式にとって依然として重要な課題だ。公開ベンチマークの結果だけで、あらゆる実環境で同じ性能が得られると判断することはできない。

ABot-ReconはGitHubで推論・評価コードと重みを公開し、魔搭社区でも体験環境を提供している。開発者は異なるGPU、動画長、シーン条件で再現性や実用性を検証できる。

出典：量子位