ExtractBench: 기업 문서 스키마 기반 추출을 평가하는 벤치마크

도입

기업 문서 추출은 단순 OCR이나 고정 템플릿을 넘어, 사용자가 정의한 스키마에 맞춰 에이전트가 구조화된 결과를 생성하는 방식으로 발전하고 있다. 이 작업에서는 문서를 읽는 능력만으로는 부족하다. 지정된 필드를 지켜야 하고, 여러 레코드를 빠짐없이 추출해야 하며, 각 값이 문서의 어디에서 나왔는지도 근거로 제시해야 한다. ExtractBench는 이러한 schema-guided enterprise document extraction을 평가하기 위해 제안된 벤치마크다.

핵심 포인트

• 실제 업무 흐름에 가까운 설정: 시스템은 문서와 사용자 정의 스키마를 입력으로 받고, 구조화된 출력과 grounding metadata를 반환해야 한다. 이는 단일 질문 답변보다 송장, 양식, 계약서, 목록 문서 처리에 더 가까운 평가 방식이다.
• 다양한 기업 문서 포함: 평가 세트는 370개 기업 문서, 총 4,869페이지로 구성되며 8개 비즈니스 도메인과 67개 문서 유형을 포괄한다. 또한 도전 시나리오별 태그를 제공해 긴 문서, 목록, 양식 등에서 어떤 문제가 생기는지 분석할 수 있다.
• 정확도만 보지 않는 지표: 값의 정확도는 순서에 민감하지 않은 value F1로 측정한다. 근거 추적성은 word-level F1과 page-level F1로 평가한다. 여기에 레코드 완전성과 실제 측정 비용까지 함께 고려한다는 점이 특징이다.
• 확장 가능한 정답 구축 방식: 실제 문서에는 독립 시스템 간 합의를 활용하고, 합성 목록에는 알려진 값을 사용하며, 양식에는 사람의 검증을 더한다. 이는 규모와 신뢰성을 동시에 확보하려는 설계다.
• 시스템별 장단점이 드러남: 상용 VLM은 짧은 문서에서는 좋은 성능을 보이지만, 긴 문서에서는 레코드 목록을 중간에 잘라내는 경우가 많다. 코딩 에이전트는 더 높은 정확도를 유지하지만 비용이 훨씬 크다. LlamaExtract Agentic Plus는 세 가지 주요 지표에서 1위를 기록했고, 코딩 에이전트에 가까운 정확도를 더 낮은 비용으로 달성했다.

의미와 영향

ExtractBench의 의미는 기업 문서 추출을 데모 수준의 인상비평이 아니라, 운영 가능한 기준으로 비교하게 만든다는 데 있다. 실제 배포에서는 값이 맞는지만 중요한 것이 아니다. 레코드가 빠지지 않아야 하고, 출처를 검증할 수 있어야 하며, 비용도 관리 가능해야 한다. 이는 컴플라이언스 검토, 비용 처리, 조달, 계약 운영 같은 업무에 AI 에이전트를 도입할 때 핵심 판단 기준이 된다.

또한 긴 문서의 목록이 잘리는 문제는 문서 추출의 병목이 시각 인식만이 아니라는 점을 보여준다. 앞으로의 문서 에이전트에는 더 나은 컨텍스트 관리, 반복적 읽기 전략, 출력 검증, 레코드 단위 자기 점검이 필요할 가능성이 크다.

출처: Hugging Face Daily Papers