新しいOCRモデルでも勝てない理由：DharmaOCRの示す専門化の強み

導入

Hugging Face Blog に掲載された Dharma-AI チームの記事は、AI評価でよく見られる前提に疑問を投げかけている。つまり「新しいモデルほど強いのか」という問いだ。OCRの世界では、答えは必ずしも単純ではない。ブラジル・ポルトガル語向けに設計された DharmaOCR は、より新しく登場した Mistral OCR4 と Unlimited-OCR に対し、ポルトガル語専用ベンチマークで上回ったと報告されている。

主要ポイント

• 専門化の効果は数値に表れる：DharmaOCR は多言語汎用OCRではなく、ブラジル・ポルトガル語に焦点を絞ったモデルである。報告値では、DharmaOCR が 0.925、Mistral OCR4 が 0.798、Unlimited-OCR が 0.7587 だった。
• 訓練手順が性能を左右する：第1段階では、ポルトガル語文書を使った教師あり微調整により、語彙、構文、綴り、文書構造への適応を進めた。第2段階では Direct Preference Optimization を使い、複数の出力候補からより良い抽出結果を選びやすくした。
• 精度だけでなく安定性も重要：生成系OCRは確率的なシステムであり、誤りを完全に避けることは難しい。重要なのは誤りの頻度、種類、そして本番環境で反復的または支離滅裂な出力に崩れないかである。
• モデル容量はどこかに配分される：アーキテクチャやパラメータ数は上限を決めるが、訓練はその容量をどこに使うかを決める。多言語モデルは複数言語に表現能力を分散させる一方、単一言語モデルは特定領域へ集中できる。

差が出る場面

記事では、ブラジルの全国高校試験である ENEM の作文が例として挙げられている。こうした文書には手書き文字、現地文化への言及、固有名詞、ブラジル・ポルトガル語特有の表現が含まれる。報告例では、Mistral OCR4 と Unlimited-OCR が、ブラジルでよく知られる音楽家・詩人 Chico Buarque の名前を誤認識した。Unlimited-OCR は、同じ文書内の引用文でも大きく崩れた出力を返したという。

著者らは、これを単なる偶発的なミスではなく、訓練データの偏りや不足が現れる診断的な失敗とみている。ブラジル・ポルトガル語への接触が不十分なモデルは、その地域を特徴づける固有名詞や表記パターンで誤りやすい、というわけだ。

意味と影響

この記事が示すのは、DharmaOCR がすべてのOCR用途で優れているという結論ではない。むしろ、評価ベンチマークと実運用の文脈をそろえる重要性である。多様な言語と文書を扱うなら汎用モデルが適している場合もある。一方、行政、教育、法務、地域言語文書のように範囲が明確な用途では、専門化モデルが高い抽出品質と低い劣化率を示す可能性がある。

OCRの選定では、公開時期や一般的な評判だけでは不十分だ。実際に処理する文書に向けて訓練されているかが重要になる。DharmaOCRの事例は、マルチモーダル生成モデルの時代でも、領域専門化が有効なエンジニアリング戦略であり続けることを示している。

出典：Hugging Face Blog