OvisOCR3、0.8Bで5種類の文書OCRタスクを統合

導入

OCRは画像内の文字を読み取るだけの技術から、文書全体の構造を理解する技術へと広がっています。請求書や契約書、論文、業務レポートには、本文、項目、図、表が同時に含まれ、表が複数ページに分かれることもあります。そのため、文字列の認識精度だけでなく、情報の位置や関係を保ったまま出力できるかが重要になります。Hugging Face Daily Papersで紹介されたOvisOCR3 Technical Reportは、この課題に対する0.8Bの軽量な統合モデルを提案しています。

主なポイント

• 5種類のタスクを統合。 OvisOCR3は文書解析、一般OCR、キー情報抽出（KIE）、文書内の図表キャプション生成、ページ間にまたがる表の再構成を1つのモデルで扱います。単なるテキスト化ではなく、構造化された情報や視覚要素の関係も対象です。
• タスク間の偏りを抑える学習。 継続事前学習では実データと合成データを利用し、中間学習では領域均衡を導入します。データ量や回答の長さが異なるタスクの差を調整し、特定タスクだけが学習を支配することを避ける狙いです。
• 専門モデルの知識を圧縮。 5つの領域特化4B教師モデルからオンライン方策蒸留を行い、その後、領域別報酬を用いた混合タスク強化学習で出力を改善します。複数の専門家の能力を、共有された小型モデルへ移す設計です。
• 幅広い評価。 一般的な視覚言語モデルや専用OCRモデルと比較し、文書解析、OCR、KIE、図表説明、ページ間表再構成に関するベンチマークを評価しています。報告概要では、OmniDocBench v1.6で96.74の総合スコアを記録し、複数の文書ベンチマークやOCRBench v2で首位または強い結果を示したとされています。

意義と注意点

OvisOCR3の意義は、0.8Bという規模だけではありません。領域ごとのデータ量を調整し、専門教師から能力を移し、タスク別の報酬で共有モデルを仕上げるという、統合文書モデルの実装方針を示しています。報告結果が実環境でも再現されれば、OCR、項目抽出、図表説明、表処理を別々に運用する負担を減らせる可能性があります。小型モデルであることは、ローカル環境や計算資源が限られた環境にも利点になり得ます。

一方、ベンチマークの成績だけで全用途への適性を判断することはできません。低品質スキャン、複雑なレイアウト、専門用語、長い文書では誤認識や構造エラーが残る可能性があります。特にページ間の表再構成は、改ページや欠落領域、曖昧なセル関係に左右されます。提示された概要には、遅延、メモリ使用量、学習データ規模、詳細なアブレーションの情報はありません。公開された重みと推論例を使い、実際の文書で確認する必要があります。

出典：Hugging Face Daily Papers