返回文章列表
模型评测

同一条光谱换种表达,模型为何会做出不同判断?

阅读约 3 分钟

导语

一条光谱可以用纳米、微米或电子伏特表示,也可以画成曲线。只要承载的信息相同,模型对问题的判断理论上就不应改变。但来自 Hugging Face Daily Papers 的一项研究显示,多模态模型距离这种“表示不变性”仍有明显差距:同一模型仅因输入换了一种表格或图表形式,准确率就可能变化最多 41 个百分点。

研究关注的不只是答对率,还包括一个更基础的能力:当回答所需的证据已经被删掉时,模型能否明确说“无法确定”。这对科学分析尤其重要,因为一个看似合理但证据不足的结论,可能比直接弃答更具误导性。

核心要点

  • 等价信息不等于等价表现。 研究使用硅超表面数据集 MOCLIP 和金纳米颗粒的实测光谱,并根据数据计算任务标签。每条光谱分别以纳米、微米、科学计数法和电子伏特表格呈现,同时提供纳米和电子伏特坐标的图表。
  • 坐标变换会改变模型判断。 在证据完全相同的情况下,将问题放在光子能量而不是波长坐标下,有些模型—表示组合的表现提升 16 至 50 个百分点,另一些组合却下降最多 25 个百分点。总体波动主要出现在电子伏特表格和图表输入上。
  • 缺失极值时,模型常常不会弃答。 研究通过从查询范围内部或外部删除数据,模拟部分光谱。未经适配的模型很少在相关极值被移除后回答“未确定”,尤其是中间区段被挖去、两侧仍有数据时,模型更容易把残余信息误当成完整证据。
  • 微调可能带来新的捷径。 对 d3-nano 进行 LoRA 微调后,模型在训练过的表格格式上比较能力有所提升。但在不可回答问题上的部分收益,来自一个简单规则:只要输入被截断,就直接弃答。这并不能真正判断缺失区域是否包含答案。
  • 训练设计决定模型能否摆脱捷径。 加入“可回答的截断样本”后,六个随机种子都避免了这一问题;在未见过的结构上,模型对“删除答案所在区域”和“删除其他区域”的弃答率差距达到 90 至 100 个百分点。相比之下,仅增加同量的原任务数据,六个种子中有五个仍保留该捷径。

意义与影响

这项工作提醒我们,科学领域的多模态评测不能只报告平均准确率。模型是否能识别等价的物理表示、是否会因坐标单位改变结论、以及是否能在证据不足时停止推断,都应成为独立的评测维度。

研究结果还揭示了两类相反的失败模式:基础模型往往“该弃不弃”,看到不完整光谱仍然给出答案;经过不当微调的模型则可能“见截断就弃”,连那些答案仍然存在的输入也一并放弃。前者体现为证据意识不足,后者则是对数据格式的过拟合。

因此,面向科学决策的训练集需要同时包含不可回答样本和“被截断但仍可回答”的反例,并且要跨越多种单位、表格格式和图表形式。只有这样,模型学到的才是对光谱内容的判断,而不是对输入外观的条件反射。研究者已公开任务、逐条响应结果和分析代码,为后续复现实验及构建更可靠的科学多模态基准提供了基础。

来源:Hugging Face Daily Papers

评论

正在确认登录状态……

正在加载评论……

相关文章