TextVerifier, 인식을 넘어 중국어 글자 렌더링을 검증하다

배경

이미지 생성 모델의 중국어 텍스트 생성은 이제 단순히 글자를 만들어 내는 단계에서, 각 글자가 실제로 정확하게 그려졌는지를 확인하는 단계로 넘어가고 있습니다. 생성된 문장이 사람이 읽을 수 있더라도 특정 글자에서 획이 빠지거나 하나 더 생기고, 부수나 구성 요소가 변형되는 문제가 남을 수 있습니다. 이런 글자는 대략적인 정체성이 유지되기 때문에 OCR이나 일반적인 비전-언어 모델이 오류를 놓칠 가능성이 큽니다.

TextVerifier는 이 문제를 별도의 검증 과제로 다룹니다. 연구팀은 주어진 목표 한자와 이미지에서 잘라낸 글자 영역을 보고, 해당 영역이 그 한자를 올바르게 렌더링한 것인지 판정하도록 문제를 정의했습니다. 즉 “무슨 글자로 보이는가”가 아니라 “목표 글자로 정확히 그려졌는가”를 묻는 방식입니다.

핵심 설계

• 인식에서 구조 검증으로 전환: OCR은 주로 글자의 정체성과 가독성을 확인하지만, TextVerifier는 시각적 구조가 목표 한자와 일치하는지 검사합니다.
• IDS를 구조적 조건으로 사용: 텍스트 타워에는 단일 한자 기호 대신 Ideographic Description Sequence(표의 문자 구조 기술 시퀀스)를 입력합니다. 이를 통해 한자가 어떤 구성 요소로, 어떤 관계를 이루며 구성되는지를 검증 조건으로 활용할 수 있습니다.
• 품질 차이를 포함한 학습: 모델은 1,270만 개의 이미지 크롭-IDS 쌍으로 학습됐습니다. 여기에 텍스트 영역 인페인팅 모델의 학습 과정에서 같은 글자지만 품질이 다른 어려운 쌍을 라벨 없이 추출해 추가했습니다. 읽을 수는 있지만 올바르지 않은 글자를 구별하도록 만든 구성입니다.
• 문자 단위 평가: TextRenderBench-ZH는 생성된 중국어 텍스트의 7,358개 문자에 대해 위치, 문자 정체성, 렌더링 정확성을 주석으로 제공합니다.

성능과 영향

TextVerifier의 F1은 0.844였습니다. 비교 기준은 OCR 신뢰도 0.526, 범용 VLM 0.329, TextPecker 0.590입니다. 이 결과는 글자를 인식하는 능력과 글자 형태가 정확한지 확인하는 능력이 서로 다르다는 점을 보여줍니다. 인식 성능이 좋아진다고 해서 미세한 획 오류나 구성 요소의 변형까지 자동으로 잡아내는 것은 아닙니다.

연구팀은 검증 점수를 평가에만 사용하지 않았습니다. 문자별 점수를 Flow-GRPO 후속 학습의 보상으로 넣어, 이미지 전체를 하나의 점수로 평가하는 대신 문제가 있는 문자에 국소적인 피드백을 제공했습니다. 논문에서는 이 방식이 텍스트 렌더링 오류를 추가로 줄였다고 보고합니다.

중국어 포스터, 광고, 인포그래픽처럼 한 글자의 오류도 의미와 신뢰도에 영향을 주는 분야에서 이 접근은 유용할 수 있습니다. 더 넓게 보면 이미지 속 텍스트 평가를 “읽을 수 있는가”와 “글자 형태가 올바른가”로 분리할 필요성을 제시합니다. 실제 적용을 위해서는 다양한 글꼴과 장식 스타일, 복잡한 배경, 다른 문자 체계까지 검증 범위를 확장해야 합니다.

출처: Hugging Face Daily Papers