返回文章列表

让视频模型学会“动作”:O²LaF用一个预训练先验建模两种动力学

阅读约 2 分钟

视频记录了环境状态如何变化,却通常没有标注导致变化的动作。对机器人和世界模型而言,这意味着大量视觉数据虽能展示结果,却缺少可直接用于学习的动作标签。潜在动作学习试图从连续画面中反推出这些隐藏动作,但不少方法仍需从头学习环境动力学。O²LaF提出另一条路径:让预训练视频模型同时为动作推断和结果预测提供先验。

核心思路:一个先验,两种动力学

O²LaF使用同一个预训练视频扩散Transformer(DiT)初始化两个承担不同任务的模型。逆动力学部分是前馈式转移编码器,借助可学习的动作查询,从视频状态变化中提取潜在动作;正向动力学部分则是因果、动作条件化的视频生成器,用潜在动作预测后续画面。两者共享初始化来源,但会适配各自的职责,而非让单一模型同时处理所有环节。

训练时,框架通过限制两个模块可访问的信息,避免它们偏离各自任务;逆推得到的动作表示还要经过紧凑瓶颈。研究将两种动力学端到端联合优化,使动作编码不仅能概括观察到的状态转移,也能服务于对后续变化的预测。整个过程使用无标注视频,不需要为每段画面配上人工动作标签。

论文报告了什么

  • 在导航与机器人操作任务中,O²LaF在少样本动作探测上取得论文所称的新最佳结果。
  • 研究称,学到的动作能够更好地在不同视觉场景和不同具身平台之间进行零样本迁移。
  • 作者还将框架扩展到V-JEPA2等预测表征先验,并报告了有竞争力的表现。

这些结果指向一个重要变化:预训练视频模型不只是生成画面的工具,也可能充当学习动作与环境变化关系的起点。若动作表示能跨场景复用,机器人就有望从观察到的视频中获得比单纯视觉特征更接近控制需求的知识;而正向预测模块则提供了检验潜在动作是否能解释后果的途径。

不过,现有摘要没有列出基准名称、数值增幅或实验设置细节,因此无法据此比较优势有多大,也不能判断迁移能力适用于哪些具体条件。值得关注的后续问题包括:紧凑动作表示能否覆盖更复杂的任务、不同预训练先验之间的差异,以及该方法在真实机器人环境中的表现。就目前材料而言,O²LaF的主要贡献是提出并验证了“共享预训练先验、分别适配两种动力学”的潜在动作学习框架。

Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章