返回文章列表
模型评测

DharmaOCR案例:新模型为何仍输给垂直OCR

阅读约 2 分钟

导语

一篇来自 Hugging Face Blog 的文章提出了一个值得重新审视的问题:在 OCR 领域,更新的模型是否一定更强?Dharma-AI 团队给出的答案并不简单。尽管 Mistral OCR4 和 Unlimited-OCR 是更新发布、面向多语言和多场景的 OCR 模型,但在一个专门围绕巴西葡萄牙语设计的基准上,DharmaOCR 仍然取得了明显领先。

核心要点

  • 专门化带来可测量优势:DharmaOCR 的目标并不是覆盖所有语言,而是服务巴西葡萄牙语。团队称,在该基准中,DharmaOCR 得分为 0.925,Mistral OCR4 为 0.798,Unlimited-OCR 为 0.7587。
  • 训练流程分为两步:第一步是基于葡语文件的监督微调,使模型更熟悉词汇、句法和文档结构;第二步是直接偏好优化(DPO),让模型在多个候选输出之间更稳定地选择更好的转写结果。
  • 问题不只是准确率:文章强调,生成式 OCR 本质上是概率系统,错误不可避免。真正的差异在于错误出现的频率、类型,以及模型在生产环境下是否会退化为重复或不连贯输出。
  • 多语言能力会分散容量:作者的核心论点是,架构和参数规模决定上限,但训练决定容量如何分配。覆盖更多语言的模型需要在多个领域之间分配表示能力,而单语模型可以把更多资源集中到特定语言形态、拼写和文化语境中。

为什么差距会出现

文章用巴西 ENEM 考试作文作为例子。这类材料包含手写文字、本地文化引用和专有名词,对 OCR 的语言理解提出了更细要求。测试中,Mistral OCR4 和 Unlimited-OCR 都未能正确识别巴西知名音乐人与诗人 Chico Buarque 的名字,Unlimited-OCR 还在相关引文中产生了明显偏差。作者认为,这类错误不是偶然噪声,而是多语言模型在巴西葡萄牙语语料暴露不足时的典型表现。

意义与影响

这篇文章的价值不在于证明某个模型在所有 OCR 任务上更好,而是提醒开发者:模型评估必须与使用场景绑定。对于跨语言、通用文档处理,更新的大模型可能更合适;但对于法律、教育、政务或区域语言文档,垂直训练仍可能以更低退化率和更高识别质量胜出。

对企业落地来说,这意味着选型不能只看发布时间、模型规模或通用榜单。真正关键的是:你的数据属于什么语言、什么文档类型、什么错误最不可接受。DharmaOCR 的案例说明,在生成式 OCR 进入多模态模型时代后,领域专门化依然不是过时路线,而是一种可验证的工程策略。

来源:Hugging Face Blog

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
UrbanGround:让多模态智能体在真实尺度城市中接受空间能力检验
模型评测
cctest.ai
模型评测

UrbanGround:让多模态智能体在真实尺度城市中接受空间能力检验

UrbanGround 将香港全域三维地理数据构建为可交互的城市沙盒,用于测试多模态大模型能否把局部视觉理解转化为持续、可靠的导航行动。研究显示,当前模型擅长短距离感知,却难以在长程探索中维持方向感并及时纠错。

阅读全文
CCTest · Blog
评测结果究竟能证明什么?一项对 Inspect Evals 的可复现性审计
模型评测
cctest.ai
模型评测

评测结果究竟能证明什么?一项对 Inspect Evals 的可复现性审计

一项基于固定代码提交版本的审计发现,评测脚本能够定义计算过程,却未必足以支撑与指标绑定的历史性结论。研究对 124 个 Inspect Evals 单元进行盘点,其中 110 个在进入确定性推断前就因证据或语义问题停止。

阅读全文