LLM智能体能否像人一样从教程视频中学习？TAL给出新路径

导语

人类看完教程后，往往能够把其中的知识带到未来任务中。对大语言模型智能体而言，训练结束后参数通常保持不变，想依靠重新训练吸收新知识，成本又十分高昂。论文《Can Large Language Model Agents Learn by Watching Tutorial Videos?》尝试回答一个关键问题：智能体能否不修改参数，仅通过观看和整理教程视频持续学习？

TAL如何工作

研究团队提出Tutorial Agentic Learning（TAL），将视频学习转化为一种非参数化的持续学习过程。它的核心不是简单保存视频转写文本，而是构建一个可反复使用的结构化“教程书”记忆。

• 先把视频转为可组织的知识：教程内容被整理进持久化记忆，并按目录树，也就是Table of Contents（TOC）进行组织。
• 主动寻找知识缺口：系统通过一个对抗式的两阶段流程生成具有挑战性、且与视频内容相关的问题，用这些问题检验当前记忆是否完整。
• 针对缺口修订记忆：当问题暴露出遗漏或表达不足时，TAL再对教程记忆进行定向补充和改写。
• 让检索服务于推理：推理阶段不主要依赖向量相似度匹配，而是沿着TOC树选择与当前问题和思考过程相关的知识节点。

这种设计把“看视频”“整理知识”“发现盲点”和“调用知识”连接起来，形成了比一次性摘要更接近学习流程的闭环。

实验观察

为评估方法，作者构建了VidLearn多模态问答基准，素材来自72个国际象棋教程视频，覆盖12种开局。实验结果显示，TAL优于论文中比较的其他基线，并且随着接收更多视频，性能呈持续提升趋势。相较对应的原始多模态语言模型，TAL在训练集和测试集上分别取得最高113%和91%的相对增益。实际棋局测试中，采用TAL的智能体在69%的正面对局里取得了更强的开局阶段局面。

论文还在第二个领域进行了评估，用于观察方法是否局限于棋类知识。素材提供的信息没有披露该领域的具体任务和结果，因此更稳妥的结论是：作者报告了跨领域的进一步验证，但其适用边界仍需要独立研究确认。

意义与局限

TAL的价值在于，它为“模型不变、能力可增长”提供了一个清晰的工程范式。教程视频不再只是一次性输入，而可以沉淀为智能体的长期外部记忆；TOC树也让检索路径更容易与任务推理对应。对于操作培训、软件教学、专业课程等场景，这种机制可能比单纯扩大上下文窗口更适合积累知识。

不过，外部记忆并不等同于可靠理解。教程内容的质量、记忆更新中的错误传播、不同视频之间的冲突，以及从棋类迁移到开放世界任务的效果，都仍值得检验。未来研究还需要更广泛的领域、更复杂的交互任务和更长期的学习曲线，才能判断智能体是否真正学会了像人一样从教程中获得可迁移能力。

来源：Hugging Face Daily Papers