OvisOCR3, 0.8B로 5가지 문서 OCR 작업을 통합

들어가며

OCR은 이미지 속 문자를 읽는 기능에서 문서 전체를 구조화하는 기술로 확장되고 있다. 청구서, 계약서, 논문, 업무 보고서는 본문과 필드, 그림, 표를 함께 포함하며, 표가 여러 페이지에 걸쳐 이어지는 경우도 많다. 따라서 단순한 문자 인식률만으로는 실용성을 평가하기 어렵다. Hugging Face Daily Papers에 소개된 OvisOCR3 Technical Report는 이런 요구를 하나의 0.8B 경량 모델로 처리하려는 접근을 제시한다.

핵심 내용

• 5가지 작업을 하나로 통합한다. OvisOCR3는 문서 파싱, 일반 OCR, 핵심 정보 추출(KIE), 문서 그림 캡션 생성, 페이지 간 표 재구성을 지원한다. 출력 대상은 텍스트에 국한되지 않고 문서 구조와 필드, 시각 요소 간 관계까지 포함한다.
• 작업 간 학습 편차를 조정한다. 지속적인 사전학습에는 실제 데이터와 합성 데이터를 함께 사용한다. 중간 학습 단계에서는 도메인 균형 방식을 적용해 작업별 데이터 양과 응답 길이 차이를 완화하고, 데이터가 많은 특정 작업이 전체 학습을 좌우하지 않도록 한다.
• 전문 교사 모델의 능력을 압축한다. 5개의 도메인 특화 4B 교사 모델에서 온라인 정책 증류를 수행한 뒤, 도메인별 보상을 사용하는 혼합 작업 강화학습을 적용한다. 서로 다른 전문가의 능력을 하나의 소형 모델로 옮기는 구성이다.
• 평가 범위가 넓다. 보고서는 범용 비전·언어 모델과 전문 OCR 모델을 비교 대상으로 삼고, 문서 파싱, OCR, KIE, 그림 설명, 페이지 간 표 재구성에 관한 여러 벤치마크를 다룬다. 제공된 요약에 따르면 OmniDocBench v1.6에서 96.74의 종합 점수를 기록했으며, 여러 문서 벤치마크와 OCRBench v2에서도 선두권 또는 최고 결과를 보였다.

의미와 한계

OvisOCR3의 의미는 단순히 파라미터 수가 작다는 데 있지 않다. 작업별 데이터 편차를 조절하고, 전문 교사로부터 능력을 전달한 뒤, 작업에 맞는 보상으로 출력 행동을 다듬는 통합 모델 구축 방식을 보여준다. 보고서의 결과가 실제 환경에서도 유지된다면 OCR, 정보 추출, 그림 설명, 표 처리를 각각 별도 모델로 운영해야 하는 부담을 줄일 수 있다. 0.8B라는 규모는 로컬 실행이나 제한된 컴퓨팅 환경에서도 장점이 될 가능성이 있다.

다만 벤치마크 성적이 모든 업무 문서에서의 신뢰성을 보장하는 것은 아니다. 저품질 스캔, 복잡한 레이아웃, 전문 용어, 긴 문서에서는 인식 오류와 구조 오류가 발생할 수 있다. 특히 페이지 간 표 재구성은 페이지 분할, 누락 영역, 불명확한 셀 관계에 민감하다. 제공된 요약만으로는 지연시간, 메모리 사용량, 학습 데이터 규모, 세부 제거 실험을 확인하기 어렵다. 따라서 공개 가중치와 추론 예제를 바탕으로 실제 대상 문서에서 성능을 검증해야 한다. OvisOCR3는 모든 전문 OCR 시스템을 대체했다기보다, 통합 문서 지능을 소형 모델로 구현하려는 유의미한 실험으로 보는 편이 타당하다.

출처: Hugging Face Daily Papers