LLM 심사관도 편향된다: 강한 모델에 더 관대한 평가

들어가며

LLM은 모델 학습, 벤치마크 평가, 자동 피드백 생성에서 심사관으로 활용되고 있습니다. 사람보다 빠르고 대규모 출력을 처리할 수 있다는 점이 장점입니다. 그러나 자동 심사관의 판단을 곧바로 중립적인 정답으로 볼 수는 없습니다. 심사관 자신의 능력, 평가받는 모델의 능력, 평가 기준이 서로 영향을 주면서 특정 방향의 체계적인 편향을 만들 수 있기 때문입니다.

arXiv 논문 「Can We Trust LLM Judges」는 기존 연구가 많이 다룬 쌍대 비교 대신 실제 활용에 가까운 절대 점수 평가에 초점을 맞췄습니다. 연구진은 네 가지 벤치마크와 여섯 개 모델을 바탕으로 36개의 심사관-피평가 모델 조합을 분석해 평가 정확도와 방향성 편향을 살폈습니다.

핵심 발견

• 모델 능력이 평가 정확도를 예측한다. 대부분의 모델에서 과제 정확도와 평가 정확도의 피어슨 상관계수는 0.90 이상이었습니다. 전반적으로 더 강한 모델이 답변 품질을 판별하는 능력도 높다는 뜻입니다.
• 높은 능력이 공정성을 보장하지는 않는다. 과제 정확도와 방향성 편향은 강한 음의 상관관계를 보였고, 상관계수는 -0.83 이하였습니다. 일부 편향이 줄어들 수는 있지만 능력 향상만으로 편향이 사라지지는 않습니다.
• 강한 피평가 모델이 더 관대한 평가를 받는다. 모든 심사관에서 능력이 높은 피평가 모델일수록 더 후한 판단을 받는 경향이 나타났으며, 상관계수는 0.83 이상이었습니다. 따라서 더 강한 심사관 하나를 선택하는 것만으로 공정성을 확보하기 어렵습니다.
• 심사관을 가중해 결합한다. 제안된 보정 가중 다수결은 모든 심사관의 표를 동일하게 세지 않고, 온라인으로 추정한 거짓양성률과 거짓음성률에 따라 영향력을 다르게 부여합니다.
• 정답 라벨이 없어도 된다. 심사관 간 동의와 불일치 패턴만으로 오류율을 추정하는 방식을 사용합니다. 과제 분포가 변하는 시뮬레이션에서 이 라벨 없는 방식은 완벽한 오류율을 아는 오라클과 평균 0.5%포인트 이내의 차이를 보였고, 단일 심사관과 비가중 다수결보다 나은 결과를 냈습니다.

의미와 한계

이 연구는 LLM 심사관의 문제를 단순한 정확도 문제가 아니라 능력 의존적 편향과 평가 보정의 문제로 확장합니다. 피평가 모델이 더 강해질수록 심사관이 특정 평가 항목보다 모델 전체의 인상에 영향을 받을 수 있다는 의미입니다.

대규모 인간 라벨을 확보하기 어려운 환경에서는 심사관 간 불일치를 관찰하고 가중치를 갱신하는 접근이 실용적인 방향을 제시합니다. 다만 제시된 결과는 네 개의 벤치마크와 분포 변화 시뮬레이션에 기반합니다. 모든 분야, 점수 체계, 프롬프트, 실제 운영 환경에서 같은 효과가 재현된다고 단정할 수는 없습니다. 심사관들이 공통된 오류를 내거나 평가 기준 자체가 변하는 경우도 추가 검증이 필요합니다.

핵심 결론은 LLM 심사관을 사용하지 말자는 것이 아닙니다. 단일 모델의 점수를 편향 없는 진실로 취급하지 말고, 여러 심사관의 행동을 모니터링하며 보정해야 한다는 것입니다. 모델 성능이 계속 높아질수록 평가 시스템 역시 다중 심사와 지속적인 보정 구조를 갖춰야 합니다.

arXiv