인식과 근거화는 다르다: 다국어 금융 증거 추출의 한계

들어가며

다국어 재무 공시를 비교하려면 문장을 회계 개념에 연결하는 것만으로는 부족하다. 해당 개념을 표현하는 금액, 비율, 기간과 기타 수치 사실을 모두 찾아내고, 각각이 원문 어디에서 비롯됐는지 확인해야 한다. 모델이 한 문단이 매출이나 부채를 다룬다는 점을 알아도, 같은 맥락에 포함된 여러 수치 중 일부만 추출할 수 있기 때문이다.

논문 「Recognition Is Not Grounding」은 이러한 인식과 근거화의 간극을 측정하기 위해 MULTIFINGROUND라는 벤치마크를 제시했다. 핵심 질문은 모델이 금융 개념을 알아보는지뿐 아니라, 그 개념을 뒷받침하는 증거를 빠짐없이 회수하는지다.

핵심 내용

• 세 언어의 공시 자료를 활용한다. 벤치마크는 90개 발행사의 FY2025 공시를 바탕으로 영어, 프랑스어, 그리스어 자료를 다룬다. 서로 독립적으로 작성된 보고서를 공통 회계 분류 체계로 정렬했다.
• 사실 단위로 추적할 수 있다. 개념 이름만 표시하는 것이 아니라, 해당 개념을 나타내는 구체적인 수치 사실을 주석으로 연결한다. 따라서 개념이 맞는지와 함께 근거가 완전한지도 확인할 수 있다.
• 여러 능력을 분리해 평가한다. 금융 사실 식별, 개념 인식, 사실의 포괄적 선택, 후보 라벨 없이 유사 개념을 구별하는 과제를 포함한다.
• 높은 인식률에도 누락이 발생한다. 15개 모델을 평가한 결과, 8개 API 및 오픈 웨이트 기준 모델은 개념 인식 정확도 97.399.4%를 기록했다. 그러나 올바르게 인식한 그룹 중 26.641.9%에서는 목표 사실이 최소 하나 누락됐다.
• 금융 특화 모델의 우위는 제한적이다. 개념 구별 능력은 모델마다 크게 달랐고, 평가된 금융 특화 모델도 전반적으로 뚜렷한 개선을 보이지 않았다.

의미와 영향

이 결과는 금융 NLP 벤치마크가 모델 성능을 과대평가할 수 있음을 보여준다. 개념 분류만 확인하면 투자 분석, 감사, 규제 보고에서 중요한 근거 누락을 놓칠 수 있다. 비교 기간이나 금액 하나가 빠지는 것만으로도 비율 계산과 전년 대비 해석, 위험 판단이 달라질 수 있다.

따라서 앞으로는 의미 인식과 근거의 완전한 회수를 하나의 흐름으로 평가해야 한다. 모델 개발자는 표, 문단, 여러 문장에 흩어진 정보를 함께 처리하고 추출 누락을 자동으로 점검하는 절차를 마련할 필요가 있다. 사용자는 모델이 제시한 그럴듯한 숫자 하나를 완전한 답으로 간주하기보다 출처와 증거의 범위를 확인해야 한다.

MULTIFINGROUND의 중요한 기여는 숨겨진 실패 유형을 측정 가능한 문제로 바꾼 데 있다. 모델은 문서가 무엇을 말하는지 이해할 수 있지만, 그 이해를 입증하는 모든 자료를 모으지는 못할 수 있다. 금융 분야에서 이 차이는 단순한 형식 문제가 아니라 답변의 신뢰성을 결정하는 요소다.

출처: Hugging Face Daily Papers