저자원 만주어 OCR을 위한 다중 전문가 라우팅

들어가며

역사 문헌 OCR은 단순히 글자를 인식하는 문제가 아니다. 같은 문자 체계라도 문서의 용도, 시대, 필기 관습에 따라 시각적 형태가 크게 달라질 수 있다. 만주어 역사 자료의 경우 정자체, 행서체, 궁중 주접 문서에 쓰인 반초서체가 서로 다른 양상을 보인다. 게다가 이런 자료는 라벨링된 학습 데이터가 부족한 경우가 많아, 하나의 모델로 모든 서체를 안정적으로 처리하기 어렵다.

arXiv 논문 “Multi-Expert Routing for Multi-Domain Low-Resource OCR: A Manchu Case Study”는 이 문제를 다중 전문가 시스템으로 접근한다. 핵심은 먼저 페이지의 시각적 영역을 분류하고, 그 결과에 따라 가장 적합한 OCR 전문가 모델로 페이지를 보내는 것이다.

핵심 내용

• 저자원·다중 영역 OCR 문제: 연구 대상은 만주어 역사 문헌이며, 정자체, 행서체, 궁중 주접의 반초서체처럼 서로 다른 시각 스타일을 포함한다.
• 체크포인트를 전문가로 재사용: 연구진은 반복적인 미세조정 과정에서 나온 체크포인트를 버리지 않고, 영역별 후보 전문가로 활용한다. 기존 체크포인트 풀에 적절한 전문가가 없을 때만 해당 영역을 위한 추가 전문가를 학습한다.
• 가벼운 페이지 단위 라우터: OCR 실행 전에 이미지 분류기가 페이지의 시각 스타일을 판별하고, 이를 바탕으로 해당 전문가 모델에 작업을 배정한다. 논문은 이 라우터가 99.3%의 페이지 단위 영역 정확도를 달성했다고 보고했다.
• 선택된 전문가와 같은 수준의 결과: 세 개의 고정 테스트셋에서 라우팅 시스템은 각 스타일에 대해 선택된 전문가와 소수 둘째 자리 기준 같은 성능을 냈다. 문자 오류율(CER)은 정자체 0.30%, 주접 문서 1.57%, 행서체 4.83%다.
• 모든 전문가는 최종 영역 전용이 아니었다: 선택된 세 전문가 중 두 개는 최종적으로 담당한 영역을 목표로 훈련된 모델이 아니었다. 행서체 전문가만 해당 영역을 목표로 학습됐다. 이는 미세조정 중간 단계의 모델도 특정 영역에 유용한 능력을 가질 수 있음을 시사한다.

의미와 영향

이 논문의 의미는 저자원 역사 OCR을 위한 현실적인 운용 방식을 보여준다는 데 있다. 문화유산 디지털화 현장에서는 문서 양식이 다양하고, 정답 전사 데이터를 대량으로 확보하기 어렵다. 이런 환경에서 하나의 범용 모델에 모든 문서를 맡기는 대신, 페이지의 종류를 먼저 식별하고 그에 맞는 전문가를 호출하는 방식은 더 실용적일 수 있다.

또한 논문은 평가 프로토콜, 라우터 설계, 페이지별 예측 결과를 보고해 비교 가능성과 재현성을 강조한다. 물론 이번 결과는 만주어 사례 연구에 기반하므로, 다른 문자 체계나 더 복잡한 실제 아카이브에 그대로 일반화될지는 추가 검증이 필요하다. 그럼에도 저자원 OCR에서 “어떤 종류의 페이지인가”를 판단하는 단계가 인식 모델 자체만큼 중요할 수 있음을 잘 보여준다.

출처: arXiv