記事一覧へ戻る
オープンソース

オープンソースの1.3BモデルOXR、文書解析3ベンチマークで首位

読了目安 3 分

文書解析は、AIシステムの中でも見落とされがちな難所だ。PDFから文字を取り出すだけなら従来型OCRでも対応できるが、実用上は段組みの順序、表のセル結合、数式、図と説明文の関係まで復元しなければならない。抽出結果が崩れていれば、RAGやエージェントが利用するコンテキストも最初から不正確になる。

オープンソースのOXRは、OCRを文書要素全体の認識へ拡張することを目指すモデルだ。開発チームによると、パラメータ数は約13億で、表、数式、コードブロック、画像、化学構造、脚注、ヘッダー、フッター、印章などを扱う。出力は構造化Markdownに変換でき、数式はLaTeXとして取り出せるという。公表資料では、OmniDocBenchで97.18、olmOCR-Benchで87.84、DocParsingBenchで87.76点を獲得し、3つの評価で首位になったとされる。ただし、評価条件やバージョン、推論設定をそろえた再現確認が必要だ。

主なポイントは次の通りだ。

  • 用途を絞った小型モデル:汎用LLMの代替ではなく、文書の内容認識と構造復元に集中する。
  • RSIによる後学習:大量の未ラベル文書を処理し、汎用VLMで正解、誤り、不確実に分類する。複数回の推論で不安定な例も抽出する。
  • 原因別のデータ生成:誤りをセル結合、手書き、画像変化への過敏さなどに分類し、弱点に対応する学習データを生成する。
  • モジュール分離:レイアウト解析と、認識・読み順判定を分け、業務に応じてレイアウト側を置き換えられる構成を採る。

この仕組みの核心は、モデルに自己採点をさせることだけではない。誤りの発見、原因の特定、訓練データの作成、再学習を一つのループにした点にある。文書解析では構造上の正解を比較的明確に定義できるため、この方法は自由記述の生成より評価しやすい。一方、評価モデルの誤りが合成データに混入すれば、弱点を拡大する危険もある。複雑な表や専門数式では、人手による確認と第三者評価が欠かせない。

速度について、開発チームはRTX PRO 6000 1枚で100ページを約101秒で処理できると説明している。軽量なレイアウト解析モデルと、認識・読み順判定を担う主モデルを組み合わせ、長い自己回帰出力による遅延を抑える設計だという。コード、重み、評価手順、オンラインデモ、無料APIも公開され、Dockerなどによる導入にも対応するとされる。

OXRの意義は、OCRを「画像を文字にする技術」から「AIが利用できる構造化資産を作る技術」へ広げた点にある。研究資料や企業文書をAIへ取り込む際の障壁を下げる可能性はあるが、導入前にはプライバシー、サービスの安定性、日本語・中国語文書での精度、実環境の処理速度を確認すべきだ。

出典:量子位

コメント

ログイン状態を確認中…

コメントを読み込み中…

関連記事

CCTest · Blog
r/opensourceがAIを禁止、新ルールに開発者から反発
オープンソース
cctest.ai
オープンソース

r/opensourceがAIを禁止、新ルールに開発者から反発

Redditのr/opensourceは、AIを利用するプロジェクトやAIによって作られたプロジェクト、AI向けのプロジェクトを原則として受け入れない新ルールを発表した。新規プロジェクトや英語を話さない利用者にも制限が及び、コミュニティで反発が広がっている。

続きを読む
CCTest · Blog
GPT-4o退役から8カ月、ユーザーはなお保存を求めている
オープンソース
cctest.ai
オープンソース

GPT-4o退役から8カ月、ユーザーはなお保存を求めている

GPT-4oがChatGPTから姿を消して約8カ月が過ぎても、保存やアーカイブ、重みの公開を求める動きは続いている。支持者が惜しんでいるのは、性能だけでなく、自然で温度のある対話体験でもある。

続きを読む
CCTest · Blog
AIによる無効な報告が急増、Googleがオープンソース向けバグ報奨金制度を一時停止
オープンソース
cctest.ai
オープンソース

AIによる無効な報告が急増、Googleがオープンソース向けバグ報奨金制度を一時停止

Googleは、自動化された脆弱性報告が大幅に増え、その大半が有効ではないとして、オープンソースソフトウェア向けの脆弱性報奨金制度を一時停止した。

続きを読む