PolyOCR-Venus：テキスト中心の視覚知能に向けた統合OCRモデル

はじめに

OCRは画像中の文字をテキストへ変換するだけの技術ではなくなりつつあります。実際の利用では、文字がどこにあるか、文書の構造がどうなっているか、どの項目が重要か、そして文字と周囲の画像がどのように関係するかまで扱う必要があります。PolyOCR-Venusは、こうしたテキスト中心の視覚タスクを一つの指示追従インターフェースで処理するOCR基盤モデル群です。

主なポイント

• 共通インターフェース。 2Bと9Bのモデルは、文字認識、テキストのグラウンディング、文書解析、情報抽出、OCR推論を同じ枠組みで扱います。タスクごとに別のモデルを用意する構成から、複数の能力を一つのモデルで連携させる方向への転換と言えます。
• 品質を重視したデータエンジン。 PolyOCRは異なる種類の視覚リソースをOCRの教師データへ変換し、その過程で品質検証を行います。提供された資料にはデータの全規模や構成は記載されていないため、単純なデータ量の主張というより、教師信号を作る工程を体系化した取り組みとして見るのが適切です。
• 教師信号をサンプル単位で選択。 Competence-Guided Policy Optimization（CGPO）は、検証器ベースのGroup Relative Policy Optimizationとon-policy distillationを組み合わせます。各サンプルでの教師の信頼性と、教師・学生間の能力差を見ながら、蒸留による監督を調整します。すべての例で教師出力を同じように使うのではなく、役立つ場合に重点的に利用する考え方です。
• 評価基盤も改訂。 OCRBench v2.1では2,449サンプルを手動で確認・修正し、タスクに合わせたスコアリング指標を導入しました。OCRでは誤ったアノテーションや目的に合わない評価指標が比較結果を左右し得るため、この改訂自体にも意味があります。

結果と注意点

プロジェクトの説明によると、PolyOCR-9BはOCRBench v2.1の英語で80.42、中国語で78.37を獲得しました。CC-OCRでは、多言語OCRを除く評価済み3トラックで82.43を報告しています。また、2.7Bの多言語版はMDPBenchで87.0に達しました。KIE BenchmarkやOmniDocBench v1.6でも評価されていますが、提供資料には完全な比較表がないため、あらゆる文書や言語で絶対的に優位だと結論づけることはできません。

意義

PolyOCR-Venusの特徴は、モデルだけでなく、学習信号と評価方法もOCRシステムの一部として扱っている点です。共通の指示追従インターフェースは、認識・解析・推論の間で能力を共有しやすくします。CGPOは教師モデルを無条件に模倣することによる問題を抑え、OCRBench v2.1は結果の比較可能性を高めようとしています。

この方向性は、帳票、領収書、表、複雑な文書、画像質問応答など、文字とレイアウトを切り離せない用途に関係します。一方、低品質画像、特殊なレイアウト、幅広い多言語環境での安定性は、今回の資料だけでは判断できません。導入時には実データで精度を検証し、推論コストや誤りへの許容度も合わせて評価する必要があります。

出典：Hugging Face Daily Papers