TextVerifier、認識を超えて中国語文字の描画を検証

背景

画像生成モデルによる中国語テキスト生成では、「読めること」と「正しく描かれていること」が同じではありません。モデルは文章全体を人間が理解できる形で生成できても、個々の漢字に画数の欠落や追加、部首・構成部品の変形を残すことがあります。こうした文字は別の字に完全に変わるとは限らないため、OCRや一般的な視覚言語モデルは異常を見逃す可能性があります。

TextVerifierは、この認識と検証の差を対象にしたモデルです。研究では、タスクを「指定された漢字と画像内の文字領域が、正しい描画関係にあるかを判定する問題」として定式化しました。つまり、何の文字に見えるかではなく、目標の文字として正しく描かれているかを調べます。

手法のポイント

• 認識から構造検証へ：OCRが主に文字の同定や可読性を扱うのに対し、TextVerifierは見えている構造が目標字形と一致するかを確認します。
• IDSを入力に利用：テキスト側には単一の漢字記号ではなく、Ideographic Description Sequence（意字構成記述）を与えます。これにより、漢字がどの部品から、どのような構造で構成されるかを検証条件として扱えます。
• 品質差を学習：12.7百万組の画像クロップとIDSのペアに加え、テキスト領域インペインティングモデルの学習過程から、同じ文字で品質だけが異なる難しいペアをラベルなしで抽出しました。読めるが正確ではない文字を区別するための設計です。
• 文字単位のベンチマーク：TextRenderBench-ZHでは、生成された中国語テキスト中の7358文字について、位置、文字同定、正しさを注釈しています。

結果と意味

TextVerifierのF1は0.844でした。比較対象はOCR信頼度が0.526、一般VLMが0.329、TextPeckerが0.590です。この差は、文字を認識できることと、字形の細部まで正しく検証できることが別の能力であることを示します。認識性能を高めるだけでは、微妙な画数ミスや部品の崩れを自動的に検出できません。

さらに、TextVerifierの文字単位スコアはFlow-GRPOの事後学習における報酬として利用されました。画像全体を一括して評価するのではなく、問題のある文字に局所的なフィードバックを与えられるため、生成モデルの改善にもつなげられます。報告では、これにより描画エラーがさらに減少しました。

中国語のポスター、広告、インフォグラフィックなどでは、一文字の誤りが意味や信頼性に影響します。本研究は、画像内テキストを「読めるか」と「正しい字形か」に分けて評価する実用的な枠組みを示しました。今後は、フォントや装飾表現、複雑な背景、他の文字体系への対応が課題になります。

出典：Hugging Face Daily Papers