LLM 심사관은 왜 실패하는가: Text-to-SQL 운영 감사의 교훈

들어가며

Text-to-SQL 시스템의 품질은 SQL 생성으로 끝나지 않는다. 생성된 쿼리가 사용자의 질문에 충실한지 판단하는 후속 검증도 중요하다. 많은 운영 파이프라인은 이 역할을 또 다른 대규모 언어 모델, 즉 LLM-as-Judge에 맡긴다. 하지만 심사 모델 자체가 사람의 판단과 얼마나 일치하는지는 충분히 측정되지 않는 경우가 많다. 이번 arXiv 연구는 실제 운영 환경의 심사 모델을 인간 평가와 비교해 이 문제를 점검했다.

핵심 결과

• 운영 중이던 gpt-4o-mini 심사관은 모델 간 불일치를 의도적으로 많이 포함한 평가 세트에서 두 저자의 골드 판정과 비교해 Cohen’s kappa 0.04를 기록했다. 균일 무작위 표본 검사에서는 0.42였다.
• 불일치 강화 세트에서 인간이 FAITHFUL로 분류한 사례의 77.1%를 문제 사례로 플래그했다. 잘못된 SQL을 놓치는 문제보다, 올바른 결과를 과도하게 거부하는 문제가 두드러진 셈이다.
• 연구진은 대부분의 과잉 플래그를 “GRADE-HALLUCINATION”이라는 실패 메커니즘으로 설명했다. 심사 과정에서 입력에 없는 근거나 전제를 만들어 평가하는 현상이다.
• 자체 호스팅한 Qwen3.6-27B는 kappa 0.72를 기록해 Claude Opus 4.7의 0.71과 비슷한 수준에 도달했다. 두 모델의 직접 비교 표본은 96개에 불과해 일반적인 우열을 주장하기에는 부족하지만, Qwen의 호출 비용은 대략 300분의 1이었다.
• 심사 모델을 추가한다고 항상 좋아지는 것은 아니다. 약한 심사관과 강한 심사관을 함께 사용하면 일치도가 오히려 낮아졌지만, 강한 심사관 3개에 만장일치 라우팅을 적용하면 kappa 0.79와 89.7% 자동 처리율을 얻었다.

의미와 영향

첫 번째 교훈은 LLM 심사관도 독립적인 운영 모델로 검증해야 한다는 점이다. 모델이 평가 역할을 맡는다고 해서 자동으로 신뢰할 수 있는 것은 아니다. 무작위 표본뿐 아니라 모델 간 의견이 크게 갈린 사례를 인간과 비교하고, 전체 평균 점수 뒤에 숨은 과잉 거부와 반복적인 오류 원인을 분석해야 한다.

두 번째로, 품질과 비용이 반드시 반대 방향으로 움직이는 것은 아니다. 이번 제한적인 비교에서는 자체 호스팅 모델이 훨씬 비싼 폐쇄형 모델과 비슷한 수준을 보였다. 이것이 모든 환경에서 Qwen이 우월하다는 뜻은 아니지만, 도입 판단에서 정확도 외에 운영비, 데이터 통제, 재현성을 함께 고려해야 한다는 점은 분명하다.

세 번째 교훈은 앙상블보다 라우팅 규칙이 중요할 수 있다는 것이다. 약한 심사관을 단순히 추가하면 잘못된 판단이 최종 결과에 전파될 수 있다. 반대로 강한 모델의 의견이 모두 일치할 때만 자동 승인하고, 나머지를 인간 검토나 추가 감사로 보내는 방식은 자동화 범위와 안전성 사이의 균형을 제공한다.

연구진은 같은 감사 절차를 BIRD-financial에 적용해 전문가가 작성한 골드 SQL의 25.5%를 연구의 주석 기준에 따른 잠재적 문제로 표시했다. 이것이 해당 SQL이 모두 틀렸다는 의미는 아니다. 다만 벤치마크의 정답 데이터도 모호성이나 주석 문제를 포함할 수 있으므로, 골드 데이터 역시 지속적으로 감사해야 한다는 뜻이다.

Text-to-SQL과 자동 평가 시스템에 적용할 수 있는 실무적 접근은 명확하다. 사전 등록된 평가를 설계하고, 인간 판정과 비교하며, 오류 메커니즘을 분류하고, 대체 모델을 시험한 뒤, 위험도에 맞는 라우팅을 운영해야 한다. 마지막으로 심사 모델뿐 아니라 정답 데이터도 정기적으로 재검토해야 한다.

출처: arXiv