ロボットの視覚的な近道を断つ、LITによる行動モデルの汎化

ロボット基盤モデルは、画像から行動を直接生成する能力を急速に高めています。しかし、学習環境で高い成功率を示しても、モデルが本当にタスクに必要な視覚情報を理解しているとは限りません。背景、カメラ視点、照明、物体の外観など、行動とは本来無関係な要素が訓練データ内で特定の行動と繰り返し共起すると、モデルはその相関を「近道」として利用する可能性があります。

このような視覚・行動ショートカットは、分布内評価では見えにくい問題です。一方で、カメラの配置を変えたり、照明を変化させたり、邪魔な物体を追加したりすると、学習時の相関が崩れ、ロボットの性能が急落することがあります。

シンガポール国立大学の MAGIC Lab などの研究者が提案した Latent Interface Training（LIT）は、この問題を視覚入力と行動生成の接続方法から見直します。特徴は、訓練を二段階に分け、最初に視覚から独立した行動の基盤を作る点にあります。

第1段階：画像なしで行動事前分布を学習する

行動専門家には、言語指示、ロボット状態、そして各行動チャンクの終端におけるエンドエフェクタの SE(3) 姿勢を与えます。画像を見せずに、指定された空間目標へ向かう行動チャンクを生成する方法を学習させることで、背景や外観の偶然の手掛かりに依存しない、目標指向の行動事前分布を構築します。

第2段階：潜在インターフェースで視覚経路を制約する

次に、視覚表現と意味表現を集約する潜在インターフェースを導入します。事前学習済みの行動専門家が視覚条件を受け取る経路は、このインターフェースだけになります。さらに、インターフェースには第1段階で使った終端姿勢を再構成するよう監督を与えます。これにより、行動に必要な空間情報は保持しつつ、タスクと無関係な視覚詳細が直接行動生成へ流れ込むことを抑えます。

LITは視覚を捨てる手法ではありません。物体の位置や空間関係を把握し、環境の変化に対応するには、ロボットに視覚が必要です。重要なのは、どの情報がどの形で行動に影響するかを整理することです。LITは、視覚情報を空間目標に近い中間表現を通して利用させることで、この接続を明示的に制約します。

論文では、Pi0.5、MolmoAct2、FAST-WAM、ImageWAMという4つの視覚・言語・行動またはワールド・行動アーキテクチャで評価しています。報告された結果では、LIBERO-Plusの全体成功率が3.87〜10.70ポイント向上し、平均LIBERO性能も維持または改善しました。実機では3タスクを対象に、未知のカメラ構成、照明変化、妨害物を含む条件で集計した成功率が13.30〜16.70ポイント向上しています。

この研究が示すのは、ロボットの汎化性能は視覚エンコーダの規模やデータ量だけでなく、知覚と制御の間のインターフェースにも左右されるということです。ただし、提示された概要にはタスク別・モデル別の詳細な内訳は含まれていないため、適用範囲を判断するには本文と追加の実環境評価が必要です。

出典：Hugging Face Daily Papers