SLA、継続事前学習でロボットに3次元空間理解を与える

導入

ロボットが机の上のカップをつかむには、物体と指示を認識するだけでは不十分です。カップの位置や距離、アームがどの方向から近づくべきかを、3次元空間の中で判断しなければなりません。しかし、現在の視覚・言語・行動（VLA）モデルの多くは、2次元の視覚・言語事前学習から視覚表現を受け継いでいます。空間に関する教師信号は特定タスクへの適応時に追加されることが多く、空間理解が汎用的な基礎能力になりにくいという課題があります。

SLA（Spatial-Language-Action Model）は、この学習の順序を見直します。ロボット経験を使った継続事前学習の段階で空間アライメントを学ばせ、下流タスクの追加学習後もその能力を維持することを目指します。

主な仕組み

• 行動予測と空間学習の同時最適化。 事前学習済みのpi05ポリシーを基盤に、ロボットの行動を予測しながら、中間視覚埋め込みを凍結した3D知覚モデルの空間表現へ近づけます。空間情報を単一タスクの補助信号にとどめない設計です。
• 異種ロボットデータの統合。 異なるロボット形態、作業、シーンのデータをまとめて学習します。データセットごとに幾何情報の有無が異なるため、教師側はRGBに加えて、利用可能な深度情報やカメラ校正情報を組み合わせます。
• 複数層の特徴を適応的に融合。 空間的な手掛かりが現れる層は例によって異なる可能性があります。SLAは特徴依存ゲートを使い、複数のVLA層から視覚埋め込みを適応的に集約します。
• 実演軌跡への過度な依存を抑制。 確率的な状態ドロップアウトにより、状態入力や実演軌跡をそのまま頼る傾向を弱め、視覚情報の利用を促します。これは軌跡への過学習を抑える狙いもあります。
• 推論時の構成を増やさない。 3D教師や補助的な空間モジュールは学習中のみ利用されます。学習後は、別の教師ネットワークを推論時に追加せず、既存VLAの利用形態を再利用できます。

意義と課題

SLAの重要な点は、空間能力をどこで学ぶかを変えようとしていることです。幾何理解を特定タスクの追加機能ではなく、複数の作業やロボットへ移行可能な表現として扱います。精密な把持、配置、接触を必要とする操作では、シーン理解と3次元の行動選択を結び付ける方向性として注目できます。

一方、具身モデルの大規模学習には、センサー構成やカメラパラメータ、深度の利用可能性がデータセットごとに異なるという問題があります。SLAはゲート付き融合と不完全な幾何情報の活用で対応しますが、どこまで一般化するかは、論文の評価と今後の実機検証を踏まえて判断する必要があります。

出典：Hugging Face Daily Papers