読めるだけでは不十分：UltraText Benchが画像生成の文字精度を検証

導入

画像生成モデルに短い単語を読める形で描かせる性能は、以前より向上しています。しかし実際のポスター、メニュー、商品パッケージ、道路標識などには、多数の文字領域が同時に存在します。モデルには、指定された文章を正しく再現するだけでなく、それぞれを適切な場所に配置し、視認性とデザイン上の属性も保つことが求められます。西湖大学の研究チームが発表した UltraText Bench は、このような密集した視覚テキストの能力を測るための二言語ベンチマークです。

主なポイント

• 幅広い構成：432件のプロンプトを、24種類の実世界シーンと3段階の難易度に分けています。英語と中国語は同数で、特定言語だけに依存しない比較を可能にします。
• 複数領域を一度に評価：人手で確認された各プロンプトには、4〜12個の文字領域の正確な文字列が含まれます。内容だけでなく、配置や視覚的属性も構造化された参照情報として用意されています。
• 評価軸を分離：視覚言語モデルのQ-Judgerを使い、文字の忠実度、文字の明瞭度、空間品質、シーン品質を別々に測定します。鮮明に見える文字が、必ずしも正しい文章とは限らないためです。
• 明瞭さと正確さのずれ：報告された設定では、Z-Image-TurboはZ-Image-Baseより明瞭度が3.81ポイント高い一方、忠実度は14.76ポイント低くなりました。見た目の鮮明さだけでモデルを判断する危険性が分かります。
• 負荷が増すと性能が低下：Qwen-Image-2512の英語総合スコアは、L1の86.50からL3の42.86まで下がりました。文字量とシーンの複雑さを増やすことで、短い文字列のテストでは隠れていた弱点が表面化します。

意義と影響

UltraText Benchの重要性は、画像内テキストを単なる「読めるかどうか」ではなく、複数の制約を同時に満たすタスクとして捉えた点にあります。実務では、コピー、位置、階層、スタイル、全体構図を一緒に守らなければなりません。一つの見出しだけを確認する評価では、モデルの実用性を過大評価する可能性があります。

また、単一の総合スコアだけではモデルの特徴を十分に説明できません。あるモデルは鮮明な文字を生成しても、重要な単語や数字を変更するかもしれません。別のモデルは内容に近くても、配置や可読性で弱さを見せる可能性があります。評価軸を分けることで、モデル選択や学習データの改善に役立つ情報が得られます。

自動評価については、10人の参加者による人手評価も行われました。ただし、提供された情報は基準の設計と一部の比較結果が中心であり、すべての言語や用途で特定モデルの優位を断定するものではありません。今後は、多言語、多領域、長い文字列、段階的に増える負荷を含む評価が、画像生成モデルの標準的な検証項目になると考えられます。

出典：Hugging Face Daily Papers