オープンソースの1.3BモデルOXR、文書解析3ベンチマークで首位
文書解析は、AIシステムの中でも見落とされがちな難所だ。PDFから文字を取り出すだけなら従来型OCRでも対応できるが、実用上は段組みの順序、表のセル結合、数式、図と説明文の関係まで復元しなければならない。抽出結果が崩れていれば、RAGやエージェントが利用するコンテキストも最初から不正確になる。
オープンソースのOXRは、OCRを文書要素全体の認識へ拡張することを目指すモデルだ。開発チームによると、パラメータ数は約13億で、表、数式、コードブロック、画像、化学構造、脚注、ヘッダー、フッター、印章などを扱う。出力は構造化Markdownに変換でき、数式はLaTeXとして取り出せるという。公表資料では、OmniDocBenchで97.18、olmOCR-Benchで87.84、DocParsingBenchで87.76点を獲得し、3つの評価で首位になったとされる。ただし、評価条件やバージョン、推論設定をそろえた再現確認が必要だ。
主なポイントは次の通りだ。
- 用途を絞った小型モデル:汎用LLMの代替ではなく、文書の内容認識と構造復元に集中する。
- RSIによる後学習:大量の未ラベル文書を処理し、汎用VLMで正解、誤り、不確実に分類する。複数回の推論で不安定な例も抽出する。
- 原因別のデータ生成:誤りをセル結合、手書き、画像変化への過敏さなどに分類し、弱点に対応する学習データを生成する。
- モジュール分離:レイアウト解析と、認識・読み順判定を分け、業務に応じてレイアウト側を置き換えられる構成を採る。
この仕組みの核心は、モデルに自己採点をさせることだけではない。誤りの発見、原因の特定、訓練データの作成、再学習を一つのループにした点にある。文書解析では構造上の正解を比較的明確に定義できるため、この方法は自由記述の生成より評価しやすい。一方、評価モデルの誤りが合成データに混入すれば、弱点を拡大する危険もある。複雑な表や専門数式では、人手による確認と第三者評価が欠かせない。
速度について、開発チームはRTX PRO 6000 1枚で100ページを約101秒で処理できると説明している。軽量なレイアウト解析モデルと、認識・読み順判定を担う主モデルを組み合わせ、長い自己回帰出力による遅延を抑える設計だという。コード、重み、評価手順、オンラインデモ、無料APIも公開され、Dockerなどによる導入にも対応するとされる。
OXRの意義は、OCRを「画像を文字にする技術」から「AIが利用できる構造化資産を作る技術」へ広げた点にある。研究資料や企業文書をAIへ取り込む際の障壁を下げる可能性はあるが、導入前にはプライバシー、サービスの安定性、日本語・中国語文書での精度、実環境の処理速度を確認すべきだ。
出典:量子位
コメント
ログイン状態を確認中…
コメントを読み込み中…