识别不等于落地：多语言金融证据抽取的评测缺口

导语

在跨语言比较财报时，找到一个会计概念只是第一步。真正困难的是确认不同语言中的表述是否指向同一概念，并把该概念对应的全部金额、比例、期间和其他数值事实完整找出来。一个模型即使知道文本在讨论某项收入、负债或现金流，也可能只抽取其中一个数字，遗漏同一语境中的其他关键证据。

论文《Recognition Is Not Grounding》围绕这一问题提出 MULTIFINGROUND 基准，专门考察多语言金融文本中的“识别—落地”差距。

核心要点

• 数据覆盖多语言财报。 基准使用 90 家发行人在 FY2025 的英语、法语和希腊语披露材料，并通过共享会计分类体系对独立撰写的报告进行对齐。
• 标注追溯到事实层面。 数据不仅标记文本涉及的金融概念，还记录能够表达这些概念的具体数值事实，从而支持对证据完整性的检查。
• 任务不止概念分类。 MULTIFINGROUND 同时评估金融事实识别、概念识别、穷尽式事实选择，以及在没有候选标签帮助时区分相近概念的能力。
• 高识别率掩盖了漏抽取。 论文评估的 15 个模型中，8 个 API 和开放权重参考模型的概念识别准确率达到 97.3% 至 99.4%。但在已正确识别的概念组中，仍有 26.6% 至 41.9% 的组至少漏掉一个目标事实。
• 专业化未带来稳定优势。 进一步分析显示，不同模型在概念区分上的表现差异明显，而研究中评估的金融专用模型并未呈现出显著的普遍性提升。

这意味着什么

这项工作提醒人们，金融信息抽取中的“答对概念”和“找全证据”是两个不同层次的问题。传统评测如果只计算概念标签是否正确，可能会高估模型在审计、投研和监管场景中的实际能力。对于财报问答或跨语言分析，漏掉一个相关期间、金额或补充事实，就可能改变同比判断、指标计算乃至风险结论。

更合理的评测方式，应把语义识别与证据完整性放在同一条链路中衡量，同时要求结果能够回指原文。对模型开发者而言，这意味着需要加强表格、段落和跨句信息的联合抽取，并设计明确的遗漏检测或复核机制。对使用者而言，模型给出的单个数字不应被视为完整答案，证据覆盖范围和来源位置同样重要。

MULTIFINGROUND 的价值不在于简单给出模型排名，而在于把一个常被隐藏的失败模式显性化：模型可能“知道在说什么”，却没有“拿全证明它的材料”。

来源：Hugging Face Daily Papers