ACE-Data-0：実家庭を具身AI向けデータエンジンに変える試み

導入

具身AIの課題は、モデルの能力だけではなく、学習に使えるデータの質にもある。家庭内で行動するAIやロボットは、人が何を見て、どのように身体を動かし、手で物体を扱い、接触や音、物体状態の変化をどう伴わせるのかを時間の流れの中で理解しなければならない。ACE-Data-0 は、この一連の経験を断片化せず、同期した形で記録しようとするデータセットである。

核心ポイント

• 人間中心の収録エンジン：論文は Ambient Capture Engine（ACE）を提案する。これは実際の家庭環境を、空間較正と時間同期が行われた記録スタジオのように扱う仕組みだ。
• 2つのスケール：テーブルスケールでは手と物体の細かな操作を捉え、ルームスケールでは家具のある空間での全身動作、移動、生活動作を記録する。
• 多モーダルな同期データ：一人称映像と多視点の外部映像に加え、全身動作、関節化された手の動き、物体形状と 6-DoF 軌跡、音声、触覚信号を統合している。
• データ規模：ACE-Data-0 は 150 時間、1700 万動画フレーム、200 タスクカテゴリを含み、50 名の参加者が 2 つの環境で実施した合計 7万5000件のインタラクションから成る。
• 自然な行動差の保持：手順を細かく指定するのではなく、目標レベルの指示を与えることで、参加者ごとの自然な解き方や動きの違いを残している。

意義と影響

従来の具身AIデータセットは、視点、モダリティ、空間スケールのいずれかで分断されがちだった。手元の操作は見えても全身の文脈がない、外部カメラ映像はあっても一人称視点がない、動作はあっても接触や物体状態が十分に揃っていない、といった問題があった。ACE-Data-0 の特徴は、これらの情報を同じ時間軸上で結び付けている点にある。

論文では、信号レベルからシーン構成要素、さらにインタラクションへ進む階層的ベンチマークも示されている。著者らによれば、既存の最先端手法は接触、遮蔽、自己運動、長い時間範囲のタスクでなお大きな課題を抱えている。つまり、このデータセットは単なる訓練素材ではなく、具身モデルの弱点を測る評価基盤にもなる。

模倣学習、世界モデル、視覚・言語・行動システム、家庭ロボットにとって、ACE-Data-0 は人間の実演をより立体的に扱うための出発点となる。ただし、現時点では 2 環境・50 名のデータであり、今後はより多様な家庭、物体、長期タスクへ拡張できるかが重要になる。

出典：Hugging Face Daily Papers