OvisOCR2: 0.8B 엔드투엔드 문서 파싱 모델의 벤치마크 성과

도입

문서 파싱 기술은 단순 OCR을 넘어, 페이지 전체의 구조를 이해하는 방향으로 빠르게 이동하고 있습니다. OvisOCR2 Technical Report는 0.8B 규모의 문서 파싱 모델 OvisOCR2를 소개합니다. 이 모델은 문서 페이지 이미지를 입력으로 받아 자연스러운 읽기 순서에 맞춘 Markdown 표현을 생성하도록 설계됐습니다.

중요한 점은 텍스트 인식에만 머물지 않는다는 것입니다. OvisOCR2는 일반 문장뿐 아니라 수식, 표, 시각 영역까지 포함해 페이지 내용을 구조화하려 합니다. 논문, 보고서, 매뉴얼, 업무 문서를 검색 시스템이나 지식베이스에 넣으려면 단순 문자열보다 문서의 순서와 구조가 더 중요합니다. 이런 점에서 이미지에서 Markdown으로 직접 변환하는 접근은 실용적 의미가 큽니다.

핵심 내용

• 0.8B 엔드투엔드 모델: OvisOCR2는 단일 문서 페이지 이미지를 입력받고 Markdown을 출력하는 문서 파싱 모델입니다.
• 읽기 순서 복원: 다단 편집, 표와 그림이 섞인 문서, 복잡한 레이아웃에서는 인식 결과를 올바른 순서로 배열하는 것이 핵심입니다.
• 데이터 엔진 구성: 보고서에 따르면 필터링된 실제 문서 주석과 합성 페이지를 함께 사용합니다. 합성 데이터는 동일한 HTML 소스에서 렌더링 이미지와 Markdown 타깃을 만들기 때문에 입력과 정답의 정합성을 높일 수 있습니다.
• 복합 학습 절차: 지도 미세조정, 다중 보상 설계를 적용한 4B 브랜치의 강화학습, 0.8B 모델로의 on-policy 증류, 모델 융합이 포함됩니다.
• 공개 벤치마크 성과: OmniDocBench v1.6에서 전체 점수 96.58을, PureDocBench에서 Avg3 75.06을 기록했다고 보고됐습니다.
• 추가 평가: 공개 벤치마크 외에도 장기 꼬리와 어려운 사례를 포함한 내부 벤치마크에서 비교 방법 중 가장 좋은 전체 성능을 보였다고 설명합니다.

의미와 영향

OvisOCR2의 의미는 점수 자체에만 있지 않습니다. 기존의 고성능 문서 파싱 시스템은 레이아웃 분석, OCR, 표 복원, 수식 인식, 후처리를 조합한 파이프라인 방식이 많았습니다. OvisOCR2는 이러한 과정을 하나의 생성 모델 흐름으로 통합하려는 시도이며, 비교적 작은 0.8B 규모에서도 강한 결과를 냈다는 점이 주목됩니다.

물론 실제 도입에는 추가 검증이 필요합니다. 저품질 스캔, 긴 다중 페이지 문서, 비정형 표, 다국어 혼합 레이아웃, 특정 산업 문서 형식은 공개 벤치마크보다 더 까다로울 수 있습니다. 그럼에도 OvisOCR2는 OCR의 역할이 단순 문자 인식에서 문서 구조를 이해하고 기계가 활용하기 쉬운 형태로 변환하는 기술로 확장되고 있음을 보여줍니다.

출처: Hugging Face Daily Papers