TextVerifier：让中文生成从“认得出”走向“写得对”

导语

中文文本生成的难点，正在从“能不能生成文字”转向“生成的每个字是否真的写对”。文本到图像模型如今常常可以产出人类能够阅读的中文，但局部结构仍可能出错：一个字少一笔、多一笔，或某个偏旁、部件出现变形。问题在于，这类图像通常仍能被识别为目标字符，因此传统 OCR 或通用视觉语言模型未必能发现异常。

TextVerifier 试图补上这一环。论文将任务重新定义为一个“目标条件化”的验证问题：给定目标汉字和对应的图像裁剪区域，模型不只是判断“这是什么字”，而是判断“这是不是这个字的正确呈现”。

核心方法

• 从识别转向结构核验：OCR 关注字符身份和可读性，而 TextVerifier 关注字符视觉结构是否符合目标。
• 使用 IDS 表示汉字：模型文本塔输入的不是单个汉字符号，而是该字符的 Ideographic Description Sequence（意字构形描述序列）。这种表示可以显式表达汉字由哪些部件、以何种结构组合而成，为检测细粒度偏差提供了更明确的条件。
• 引入困难样本：训练数据包含 1270 万组图像裁剪区域与 IDS 配对样本，还加入从文本区域修复模型训练轨迹中采样的“同一字符、不同质量”样本。这些样本不依赖额外人工标签，却能迫使验证器区分可识别但质量不同的字符。
• 建立逐字评测基准：TextRenderBench-ZH 对生成中文文本中的 7358 个字符进行位置、身份和正确性标注，评估粒度从整段文本下沉到单个字符。

结果与意义

在该基准上，TextVerifier 的 F1 为 0.844；作为对照，OCR 置信度为 0.526，通用 VLM 为 0.329，TextPecker 为 0.590。数字说明，字符“被读出来”与字符“被正确绘制”是两个不同问题，单纯提升识别能力并不能自然解决结构性渲染缺陷。

论文的另一项验证是将 TextVerifier 的逐字符分数用作 Flow-GRPO 后训练中的奖励信号。这样，模型不仅可以在生成后筛出问题字符，训练过程也能获得更细粒度的纠错反馈，从而进一步减少渲染错误。

这项工作对中文海报、广告图、信息图和带文字的视觉内容生成尤其有价值。它提供了一条更清晰的质量控制路径：先定位字符，再对照目标结构进行核验，最后把验证结果反馈给生成模型。与此同时，方法也提示评测体系需要区分“语义可读性”和“字形正确性”。未来，如何覆盖更多字体、风格、复杂背景及其他书写系统，仍是这类验证器走向实际应用时需要面对的问题。

来源：Hugging Face Daily Papers