PhyRubric:给文生视频的物理常识测试加上可追溯诊断
导语
文生视频模型的进步,已经不只是画面是否清晰、动作是否连贯的问题。当这些模型被寄予“世界模拟器”的期待时,视频中的物体是否遵守基本物理规律,也成为衡量能力的重要标准。现有评测往往让标注者凭直觉给出一个总分,这种方式容易受主观判断影响,也难以回答模型究竟违反了哪条物理原则。
PhyRubric提出了一种更细粒度的评测思路:先从文本提示中拆解出应该被满足的语义和物理要求,再用视频中的具体证据逐项核验。
核心方法:先写量规,再看视频
PhyRubric的关键设计,是在评估视频之前,针对每条 caption 生成专属 rubric。这样做可以减少“先看到结果、再调整标准”的偏差。量规不仅检查视频是否出现了提示中的对象和动作,也会列出与情境相关的物理项目。
评估时,系统不再直接给出一个模糊的整体印象,而是对每个项目作出判断,并记录对应的时间戳证据。最终得分由这些项目级 verdict 汇总而来。对于模型开发者而言,这种结果比单一分数更有用:它能够指出失败发生在何处,以及涉及哪一类物理常识。
研究团队据此构建了 PhyRubric-Bench,覆盖34个类别和五个物理领域;同时整理包含3788个视频的 PhyRubric-Train,并在其上微调开源评估器 PhyRubric-Judge。
结果:难点不只在运动
研究对十个文生视频模型进行了评估。总体结果显示,物理常识仍远未被现有系统解决。尤其值得注意的是,热学和声学是多数模型最困难的领域。
声学测试也并非依赖视频真的“发出声音”。由于生成视频通常是无声的,研究会观察声音产生的可见后果,例如扬声器引起纸张振动,或闹钟响起时出现相应的抖动。热学同样要求模型表现出由温度变化导致的结果,而不是只生成一个看似合理的场景。
在与人类判断的相关性方面,PhyRubric-Judge优于已有开源评估器,并达到材料所称的前沿闭源 Gemini 4 Argon 的水平。不过,现有素材没有给出各物理领域分别对应的相关性数据,因此不能据此断言它在热学或声学上的人类一致性更低。
意义与影响
PhyRubric的价值不只是提供一个新的排行榜指标,更在于改变了视频评测的粒度。对模型团队来说,时间戳和项目级证据可以帮助定位训练数据、动作建模或视频生成过程中的具体缺陷;对研究者来说,caption 专属量规也提供了比统一评分表更贴近任务语境的评估框架。
当然,这套方法仍依赖视觉系统对证据的解释,也不能仅凭摘要判断其量规生成和人工标注的全部细节。但它清楚地表明,评价文生视频的“像不像”,已经不足以支撑世界模拟器叙事。下一步的重点,应是系统回答视频是否遵守了因果、运动、热和声等可检验规律,以及模型应如何据此改进。
评论
正在确认登录状态……
正在加载评论……