금융 문서 AI 평가가 OCR 정확도만으로는 부족한 이유

금융 문서 인식은 겉으로는 OCR 문제처럼 보이지만, 실제로는 고위험 정보 복원과 의사결정 지원에 가깝습니다. 금액의 한 자리, 양수·음수 부호, 보고 기간, 기업이나 계좌의 연결 관계를 잘못 읽으면 거래의 의미가 달라질 수 있습니다. 문자 오류율과 단어 오류율은 문자열이 얼마나 비슷한지 보여주지만, 추출된 금융 사실을 업무에 사용해도 안전한지는 판단하지 못합니다.

‘읽기’에서 ‘근거 있는 사실’로

이 연구는 인간 중심의 위험 제약형 평가 프레임워크를 제안합니다. 금융 사실을 유형이 있는 구조화된 정보로 정의하고, 문서에서 실제로 보이는 원본 영역과 연결합니다. 시스템은 결과만 내놓는 것이 아니라, 사람이 그 결과를 확인할 수 있는 출처와 증거도 보존해야 한다는 뜻입니다.

또한 서로 다른 처리 단계를 구분합니다.

• 있는 그대로의 전사: 문서에 표시된 내용을 가능한 한 원문 그대로 기록합니다.
• 결정적 정규화: 날짜나 통화 형식을 명확한 규칙에 따라 통일합니다.
• 업무 해석: 거래의 성격, 주체 간 관계, 운영상 의미 등을 판단합니다.

이 구분은 오류의 원인을 찾는 데 중요합니다. 글자는 정확히 읽었지만 표 구조를 잃거나, 값을 잘못된 필드에 연결하거나, 근거가 부족한 업무 해석을 수행할 수 있기 때문입니다. 모든 결과를 하나의 종합 점수로 압축하면 이런 차이가 가려집니다.

핵심 오류는 평균 점수로 상쇄할 수 없다

평가 모델은 텍스트, 위치, 레이아웃, 표, 필드, 사실 정확성, 증거 연결, 불확실성, 견고성, 운영 성능을 폭넓게 다룹니다. 핵심 원칙은 비보상형 승인 게이트입니다. 금액, 식별자, 부호, 기간, 주체 연결과 같은 핵심 필드는 각각 독립적으로 허용 가능한 위험 수준을 충족해야 합니다. 일반 텍스트를 잘 읽었다고 해서 핵심 필드의 오류를 보상할 수 없습니다.

허용 오류율은 모든 업무에 동일하게 정하지 않습니다. 오류가 발생했을 때의 영향에 따라 업무 책임자가 사전에 정해야 합니다. 이후 단측 불확실성 상한을 사용해 관측 결과가 충분한 증거를 제공하는지 확인합니다. 테스트에서 오류가 한 건도 관측되지 않았더라도 실제 오류 위험이 0이라는 의미는 아닙니다. 오류가 0건인 경우 연구는 단측 Clopper–Pearson 상한 U = 1 - α^(1/n)을 제시합니다. 여러 게이트를 함께 검증할 때는 Bonferroni 할당과 같은 가족 단위 오류율 관리도 고려해야 합니다.

자동화는 선택적으로 배치해야 한다

이 프레임워크는 모든 사례를 자동화하는 것을 목표로 삼지 않습니다. 잔여 위험, 사람 검토 역량, 검토 비용을 함께 고려해 사례를 자동 처리하거나 검토자에게 전달하는 라우팅 문제로 봅니다. 근거가 부족하거나 잘못된 값의 손실이 큰 경우 사람에게 넘기는 것은 시스템의 실패가 아니라 안전한 운영 방식입니다.

연구는 주석 작성과 이견 조정 절차, 데이터 누수를 방지한 벤치마크 분할, 통계적 추정량, 하위집단 분석, 재현성 카드도 요구합니다. 새로운 인식 모델을 제시한 것이 아니라 금융 문서 AI를 평가하는 이론적·방법론적 기여라는 점도 중요합니다.

의미와 영향

은행, 회계, 감사 업무에서 중요한 질문은 모델이 몇 글자를 맞혔는지가 아닙니다. 의사결정을 좌우하는 사실이 정확한지, 원문 근거와 연결되는지, 자동화를 정당화할 만큼 충분한 증거가 있는지가 핵심입니다. 이 접근법은 문서 AI의 도입 시험과 사람 검토 범위를 보다 현실적으로 설계할 수 있게 합니다.

신뢰할 수 있는 시스템은 오류가 없다고 주장하는 시스템이 아닙니다. 결과의 불확실성을 드러내고, 평가가 실제로 입증한 범위를 구분하며, 증거가 부족할 때 사람의 판단으로 넘기는 시스템입니다.

출처: Hugging Face Daily Papers