返回文章列表
模型评测

DharmaOCR案例:新模型为何仍输给垂直OCR

阅读约 2 分钟

导语

一篇来自 Hugging Face Blog 的文章提出了一个值得重新审视的问题:在 OCR 领域,更新的模型是否一定更强?Dharma-AI 团队给出的答案并不简单。尽管 Mistral OCR4 和 Unlimited-OCR 是更新发布、面向多语言和多场景的 OCR 模型,但在一个专门围绕巴西葡萄牙语设计的基准上,DharmaOCR 仍然取得了明显领先。

核心要点

  • 专门化带来可测量优势:DharmaOCR 的目标并不是覆盖所有语言,而是服务巴西葡萄牙语。团队称,在该基准中,DharmaOCR 得分为 0.925,Mistral OCR4 为 0.798,Unlimited-OCR 为 0.7587。
  • 训练流程分为两步:第一步是基于葡语文件的监督微调,使模型更熟悉词汇、句法和文档结构;第二步是直接偏好优化(DPO),让模型在多个候选输出之间更稳定地选择更好的转写结果。
  • 问题不只是准确率:文章强调,生成式 OCR 本质上是概率系统,错误不可避免。真正的差异在于错误出现的频率、类型,以及模型在生产环境下是否会退化为重复或不连贯输出。
  • 多语言能力会分散容量:作者的核心论点是,架构和参数规模决定上限,但训练决定容量如何分配。覆盖更多语言的模型需要在多个领域之间分配表示能力,而单语模型可以把更多资源集中到特定语言形态、拼写和文化语境中。

为什么差距会出现

文章用巴西 ENEM 考试作文作为例子。这类材料包含手写文字、本地文化引用和专有名词,对 OCR 的语言理解提出了更细要求。测试中,Mistral OCR4 和 Unlimited-OCR 都未能正确识别巴西知名音乐人与诗人 Chico Buarque 的名字,Unlimited-OCR 还在相关引文中产生了明显偏差。作者认为,这类错误不是偶然噪声,而是多语言模型在巴西葡萄牙语语料暴露不足时的典型表现。

意义与影响

这篇文章的价值不在于证明某个模型在所有 OCR 任务上更好,而是提醒开发者:模型评估必须与使用场景绑定。对于跨语言、通用文档处理,更新的大模型可能更合适;但对于法律、教育、政务或区域语言文档,垂直训练仍可能以更低退化率和更高识别质量胜出。

对企业落地来说,这意味着选型不能只看发布时间、模型规模或通用榜单。真正关键的是:你的数据属于什么语言、什么文档类型、什么错误最不可接受。DharmaOCR 的案例说明,在生成式 OCR 进入多模态模型时代后,领域专门化依然不是过时路线,而是一种可验证的工程策略。

来源:Hugging Face Blog

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
LLM 多重验证并非越多越安全:相关性会让可靠性提前见顶
模型评测
cctest.ai
模型评测

LLM 多重验证并非越多越安全:相关性会让可靠性提前见顶

这篇 arXiv 论文讨论了 LLM 系统中常见的“连续验证门”问题:同一个答案必须通过多次 verifier 才被返回。作者指出,一旦验证器之间存在部分相关性,可靠性提升会从指数级变成多项式级,甚至出现无法突破的盲区上限。

阅读全文