Lab2Sim：把实验视频变成可交互的虚拟实验

导语

科学实验视频能够展示器材如何摆放、步骤如何执行以及实验状态如何变化，但观看本身并不等于动手操作。学习者无法在视频中尝试错误步骤，也难以直观看到“先决条件”对实验流程的限制。Lab2Sim 关注的正是这一转换问题：如何把现实世界中的实验视频，变成可以点击、操作并反馈状态的虚拟实验页面。

核心要点

• 建立面向转换任务的基准。 Lab2Sim 收集了 218 个科学实验视频，并配套证据支撑的实验规格与 11,881 项评分标准，用于评估生成结果是否真正符合视频中的实验过程。
• 难点不只是生成可运行页面。 多模态模型通常能够产出可以运行的网页，但实验器材的种类、位置、连接关系和外观往往难以准确复现。一个页面“能动”，并不代表它还原了原实验。
• 用层级流程理解实验。 EduVideo2Code 先从视频中提取分层的实验步骤，再把这些步骤编码为显式状态机。这样，模型不仅要知道下一步做什么，还要理解当前状态是否允许执行该操作。
• 加入执行验证。 生成页面后，系统通过实际运行检查交互与状态转换，并据此迭代修正代码，而不是只依赖一次性的视觉理解和文本生成。
• 装置还原度提升明显。 在两个骨干模型上的实验中，EduVideo2Code 改善了四项评估维度，装置保真度提升 24.15 分。

意义与影响

Lab2Sim 的价值在于，它把“视频到网页”重新定义为一个需要过程理解、状态约束和程序验证的综合任务。对于虚拟实验而言，烧杯、支架或连接管路并非只是页面上的装饰；它们决定了哪些操作合理、哪些步骤必须先完成，以及状态变化是否可信。显式状态机因此成为连接视觉观察与交互程序的重要中间层。

这项工作也说明，提升教育场景中的多模态生成质量，不能只追求页面是否成功渲染。更关键的是，系统能否准确复原实验装置，并在用户操作时遵守实验逻辑。Lab2Sim 提供了较系统的评测框架和生成流程，为后续构建更可靠的虚拟实验、探索视频驱动的教育内容生产提供了基础。与此同时，研究结果也提醒人们，生成式模型在复杂物理过程和器材关系上的理解仍有明显提升空间。

来源：Hugging Face Daily Papers