TouchScale、500時間の視覚・触覚データでロボット学習を強化

視覚だけでは捉えにくい接触

カメラは物体の位置や手の動きを記録できますが、接触が起きたか、どれほどの力が加わったか、把持中に滑りが生じたかを直接示すことはできません。物体を実際に扱うロボットにとって、こうした接触情報は重要です。TouchScaleは、第一人称視覚と触覚を同時に記録することで、この不足していた学習信号を補おうとしています。

同データセットは、統一されたウェアラブル構成と収集プロトコルで記録した、約500時間の人間インタラクションから成ります。約2,000種類の事前定義タスクを含み、日常的な活動と構造化された操作の両方を対象にしています。各記録では、第一人称RGB-D映像、手首のRGB映像、そして両手の高密度な全手触覚計測が時間的に対応付けられています。

報告された主な結果

研究では、データ量を増やすことが知覚とロボット制御の双方に有効かを調べました。

• センサー間の接触予測： TouchScale全体で学習した場合、未学習の触覚センサーに対するゼロショット接触IoUは0.383となりました。従来の触覚データで学習した場合の0.134から向上しています。
• 行動認識： TouchScaleで事前学習した視覚エンコーダーは、比較対象となった視覚・触覚データセットの中で、3つのベンチマークにおいて最も高い認識精度を示しました。
• ロボット操作： 視覚・触覚による中間学習を行うことで、4つの接触密度の高い実環境タスクにおける平均成功率は22.5%から57.5%に向上しました。

センサーと収集手順を固定した比較では、使用するTouchScaleデータが増えるにつれて、触覚予測とロボット成功率が全体として上昇する傾向も報告されています。ただし、これは評価された条件での結果であり、すべてのタスクで性能が直線的に伸びることを意味するものではありません。

研究上の意味

TouchScaleの意義は、単にデータが大きいことだけではありません。異なるセンサーや収集方法を混在させず、視覚と触覚を同じ時間軸でそろえているため、データ規模の効果を検討しやすくなっています。視覚は環境や行動の文脈を提供し、触覚は物理的な接触状態を補います。この組み合わせは、接触予測、行動理解、ロボット方策の学習に適した監督信号になり得ます。

現在、100時間分のサブセットがHugging Faceでアクセス条件付きで公開されています。完全版の500時間データは今後の公開が予定されており、同期済みの視覚・触覚記録と再構成物体モデルも公開対象です。今後は、別のタスク、触覚センサー、ロボット形態への汎化が重要な検証課題になります。

出典：Hugging Face Daily Papers