TouchScale：用500小时视觉触觉数据推动机器人学习

导语

机器人要真正理解物体，不能只依赖摄像头。画面可以告诉系统物体在哪里、手正在做什么，却很难直接表达接触是否发生、压力有多大，以及抓取过程中是否出现了滑动。TouchScale试图补上这一环节：它构建了一个约500小时的人类视觉—触觉交互数据集，用统一的可穿戴采集方案记录人在日常活动和结构化操作中的动作与接触信息。

数据集做了什么

TouchScale覆盖约2000种预定义任务描述。每段记录都在时间上对齐三类信息：第一视角RGB-D视频、腕部RGB视频，以及来自双手的密集全手触觉测量。统一传感器和采集流程是该项目的重要设计，因为以往较大的触觉资源往往混合了不同传感器或标注方式，数据规模扩大后究竟带来多少收益并不容易单独判断。

项目主要考察了三个方向：

• 跨传感器触觉预测： 使用TouchScale完整数据训练后，在未见过的触觉传感器数据上，零样本接触IoU从既有触觉数据训练的0.134提升至0.383。
• 视觉表征学习： 在TouchScale上预训练视觉编码器后，模型在三个动作识别基准上的准确率，在被比较的视觉—触觉数据集预训练结果中最高。
• 机器人操作： 将数据用于视觉—触觉中训练后，四项接触密集型真实机器人任务的平均成功率从22.5%提升到57.5%。

在传感器和采集协议保持不变的前提下，实验还观察到，随着使用的TouchScale数据增多，触觉预测与机器人成功率总体呈上升趋势。不过，这些结果应理解为论文所报告的实验结论，不能简单外推为所有任务都会线性受益。

意义与限制

TouchScale的价值不只是“更大的数据量”，还在于把规模、同步和采集一致性放在一起。对于具身模型而言，视觉信号负责提供环境和动作上下文，触觉信号则补充接触状态。两者在同一时间轴上的配对，为学习接触预测、动作识别和操作策略提供了更直接的监督。

目前，数据集的100小时子集已在Hugging Face按访问条件开放，完整500小时版本计划后续发布。研究者还计划公开同步视觉—触觉记录和重建的物体模型。未来，数据覆盖范围、触觉传感器迁移能力，以及在更多机器人平台上的泛化表现，仍是评估这类资源实际影响力的关键。

来源：Hugging Face Daily Papers