返回文章列表
视觉与视频

多专家路由让低资源满文 OCR 适配多种历史书体

阅读约 3 分钟

导语

历史文献 OCR 的难点并不只在“字少”或“训练数据少”,还在于同一种文字可能跨越多种书写风格。以满文为例,正书、行书以及清代宫廷奏折中常见的半草体,视觉形态差异明显。如果把这些材料混在一起训练一个模型,模型可能难以兼顾;如果为每一种风格单独训练,又会受限于标注数据稀缺。

arXiv 论文《Multi-Expert Routing for Multi-Domain Low-Resource OCR: A Manchu Case Study》把这一问题拆解为“识别页面属于哪种视觉领域”与“调用相应 OCR 专家”两步。研究者提出的多专家系统,并不是从零训练一组庞大模型,而是复用迭代微调过程中产生的检查点,将其视为不同领域的候选专家;当现有检查点池中没有合适模型时,再为该领域额外训练专家。

核心要点

  • 面向低资源、多领域 OCR:研究对象是满文历史材料,覆盖正书、行书和奏折半草体等不同视觉风格,重点关注标注样本有限时的跨域适配。
  • 检查点复用为“专家”:系统从迭代微调过程中挑选已有检查点,让它们承担不同书体或页面风格的识别任务,降低为每个领域重新训练的成本。
  • 轻量页面级路由器:在 OCR 前先用图像分类器判断整页所属领域,再把页面分发给对应专家。论文报告该路由器达到 99.3% 的页面级领域准确率。
  • 效果接近领域标签 oracle:在三个冻结测试集上,路由系统在两位小数精度上与对应专家表现一致:正书 CER 为 0.30%,奏折为 1.57%,行书为 4.83%。论文还指出,路由结果在同等精度下匹配使用真实领域标签的 oracle。
  • 专家并非都为最终领域专训:三位被选中的专家中,有两位并非专门为其最终服务的领域训练;只有行书专家以该领域为目标训练。这说明微调路径中的中间模型可能具备可迁移的领域特长。

意义与影响

这项工作的价值在于,它为低资源历史 OCR 提供了一种务实路线:不必强行追求单一通用模型,也不必为每个细分风格从头建立完整训练流程,而是通过路由机制组合已有能力。对于档案数字化、少数民族文字保护、古籍整理等场景,这种方法尤其有吸引力,因为真实数据往往分散、标注昂贵,且文献风格复杂。

同时,论文强调冻结测试集、路由设计和逐页预测结果的公开报告,有助于提升可复现性。需要注意的是,这仍是一项围绕满文案例的研究,其方法能否直接迁移到更多文字、更多版式和更混杂的档案环境,还需要进一步验证。但它提出的思路很清晰:在低资源 OCR 中,先识别“页面像什么”,再调用“最会读这种页面的模型”,可能比训练一个包打天下的模型更稳健。

来源:arXiv

评论

正在确认登录状态……

正在加载评论……

相关文章

CCTest · Blog
VisionScreen:把“筛选”机制引入视觉识别,挑战 ViT 的软注意力范式
视觉与视频
cctest.ai
视觉与视频

VisionScreen:把“筛选”机制引入视觉识别,挑战 ViT 的软注意力范式

一篇新论文提出 VisionScreen,将语言建模中的 Screening 机制扩展到图像识别,让视觉 token 能显式排除低相关图像块。作者认为,这为 ViT 依赖 softmax 相对权重的特征聚合方式提供了另一种路径。

阅读全文