PolyOCR-Venus: 텍스트 중심 시각 지능을 위한 통합 OCR 모델

들어가며

OCR은 이미지의 문자를 단순한 텍스트로 옮기는 기술을 넘어가고 있습니다. 실제 업무에서는 문자가 어디에 있는지, 문서 구조가 어떻게 구성되는지, 어떤 필드가 중요한지, 이미지 맥락과 문자가 어떤 관계를 맺는지까지 파악해야 합니다. PolyOCR-Venus는 이러한 텍스트 중심 시각 작업을 하나의 지시 따르기 인터페이스로 처리하려는 OCR 기반 모델군입니다.

핵심 내용

• 공통 작업 인터페이스. 2B와 9B 모델은 문자 인식, 텍스트 그라운딩, 문서 파싱, 정보 추출, OCR 추론을 같은 프레임워크에서 수행합니다. 기능마다 별도 모델과 파이프라인을 구성하는 방식보다 여러 OCR 능력의 연계를 강조한 설계입니다.
• 품질을 고려한 데이터 엔진. PolyOCR는 서로 다른 시각 자료를 OCR 감독 신호로 변환하고, 그 과정에 품질 검증을 포함합니다. 제공된 자료에는 데이터의 전체 규모와 세부 구성은 제시되지 않았습니다. 따라서 이를 단순히 더 큰 데이터셋을 만들었다는 주장보다는 학습 신호 생성 과정을 체계화한 접근으로 보는 편이 적절합니다.
• 샘플별 교사 감독 조정. Competence-Guided Policy Optimization(CGPO)은 검증기 기반 Group Relative Policy Optimization과 on-policy distillation을 결합합니다. 각 샘플에서 교사 모델이 얼마나 신뢰할 만한지, 교사와 학생 사이의 능력 차이가 어느 정도인지에 따라 증류 감독의 비중을 조정합니다. 모든 예제에서 교사 출력을 동일하게 복사하기보다, 실제로 도움이 되는 경우에 선택적으로 활용하려는 방식입니다.
• 평가 기준의 개선. OCRBench v2.1은 2,449개 샘플을 수동으로 검증하고 주석을 수정했으며, 작업 목표에 맞춘 점수 산정 방식을 도입했습니다. OCR 평가에서는 주석 오류나 과제와 맞지 않는 지표가 모델 비교를 왜곡할 수 있기 때문에, 벤치마크 개정 자체도 중요한 기여입니다.

보고된 성능과 한계

프로젝트 설명에 따르면 PolyOCR-9B는 OCRBench v2.1에서 영어 80.42점, 중국어 78.37점을 기록했습니다. CC-OCR에서는 다국어 OCR을 제외한 세 평가 트랙에서 82.43점을 보고했습니다. 별도의 2.7B 다국어 모델은 MDPBench에서 87.0점에 도달했습니다. 또한 KIE Benchmark와 OmniDocBench v1.6 등에서도 평가했지만, 제공된 요약에는 전체 비교표가 없습니다. 따라서 이 수치는 보고된 성능의 강점을 보여주지만, 모든 문서와 언어에서 절대적으로 우수하다는 의미로 확대해서는 안 됩니다.

의미와 영향

PolyOCR-Venus의 핵심은 여러 OCR 기능을 하나로 묶는 데만 있지 않습니다. 모델 구조, 학습 신호, 평가 체계를 하나의 시스템 문제로 다룬다는 점이 더 중요합니다. 공통 지시 인터페이스는 인식·파싱·추론 능력의 공유를 돕고, CGPO는 교사 모델을 무조건 모방할 때 생길 수 있는 비효율을 줄이려 합니다. OCRBench v2.1은 성능 향상을 해석하고 서로 비교하는 기반을 개선하려는 시도입니다.

이 접근은 영수증, 양식, 표, 복잡한 문서, 이미지 질의응답처럼 문자와 레이아웃을 분리하기 어려운 분야에 참고가 될 수 있습니다. 다만 저화질 이미지, 특수한 레이아웃, 광범위한 다국어 환경에서의 안정성은 현재 자료만으로 판단하기 어렵습니다. 실제 도입 전에는 자체 문서로 정확도를 검증하고, 추론 비용과 오류 허용 수준을 함께 검토해야 합니다.

출처: Hugging Face Daily Papers