새 OCR 모델도 이기지 못한 특화 전략: DharmaOCR 사례

도입

Dharma-AI 팀이 Hugging Face Blog에 올린 글은 AI 모델 평가에서 흔히 갖는 기대를 다시 묻게 한다. 새로 나온 모델이면 항상 더 나은가? OCR에서는 그렇지 않을 수 있다. 글에 따르면 브라질 포르투갈어에 맞춰 설계된 DharmaOCR는 포르투갈어 전용 벤치마크에서 더 최근에 주목받은 Mistral OCR4와 Unlimited-OCR을 앞섰다.

핵심 내용

• 특화의 효과가 수치로 나타났다: DharmaOCR는 모든 언어를 포괄하는 범용 OCR이 아니라 브라질 포르투갈어를 목표로 만든 모델이다. 해당 벤치마크에서 DharmaOCR는 0.925를 기록했고, Mistral OCR4는 0.798, Unlimited-OCR은 0.7587을 기록했다.
• 학습 방식이 중요하다: 첫 단계는 포르투갈어 문서 기반 지도 미세조정이었다. 이를 통해 모델은 어휘, 문법, 철자 패턴, 문서 구조에 더 잘 맞춰졌다. 두 번째 단계는 Direct Preference Optimization으로, 여러 후보 출력 중 더 나은 추출 결과를 선택하도록 학습했다.
• 정확도만의 문제가 아니다: 생성형 OCR은 본질적으로 확률적이다. 따라서 오류가 있느냐보다 오류가 얼마나 자주, 어떤 형태로 발생하는지, 그리고 운영 환경에서 반복적이거나 일관성 없는 출력으로 무너지지 않는지가 중요하다.
• 모델 용량은 분배된다: 아키텍처와 파라미터 수는 학습 가능한 상한을 정하지만, 학습 데이터와 목표는 그 용량이 어디에 쓰이는지를 정한다. 다국어 모델은 여러 언어에 표현 능력을 나눠야 하는 반면, 단일 언어 특화 모델은 특정 언어 공간에 더 집중할 수 있다.

격차가 나타나는 이유

글은 브라질 전국 고등학교 시험인 ENEM의 손글씨 에세이를 예로 든다. 이런 문서에는 손글씨, 지역 문화에 대한 언급, 고유명사, 브라질 포르투갈어 특유의 표현이 함께 들어간다. 보고된 사례에서 Mistral OCR4와 Unlimited-OCR은 브라질에서 널리 알려진 음악가이자 시인인 Chico Buarque의 이름을 잘못 인식했다. Unlimited-OCR은 같은 문서에 포함된 포르투갈어 인용문에서도 크게 왜곡된 결과를 냈다.

저자들은 이런 오류를 단순한 우연으로 보지 않는다. 브라질 포르투갈어에 대한 노출이 충분하지 않은 모델은 바로 그 언어권을 구별하는 고유명사, 철자, 문화적 표현에서 실패하기 쉽다는 해석이다.

의미와 영향

이 글이 말하는 바는 DharmaOCR가 모든 OCR 작업에서 더 우수하다는 것이 아니다. 핵심은 평가 기준과 실제 사용 맥락이 맞아야 한다는 점이다. 다양한 언어와 문서를 다루는 환경에서는 범용 다국어 모델이 적합할 수 있다. 그러나 교육, 공공문서, 법률, 지역 언어 문서처럼 대상이 분명한 경우에는 특화 모델이 더 높은 추출 품질과 낮은 출력 퇴화를 보일 수 있다.

OCR 시스템을 고를 때 출시 시점이나 일반 벤치마크 평판만 보는 것은 부족하다. 실제로 처리할 문서의 언어와 형식, 그리고 어떤 오류가 치명적인지를 따져야 한다. DharmaOCR 사례는 멀티모달 생성 모델 시대에도 도메인 특화가 여전히 유효한 엔지니어링 전략임을 보여준다.

출처: Hugging Face Blog