LLM 평가에서 채점기보다 비교 자체를 검증해야 하는 이유

들어가며

대화 압력이 LLM의 행동을 바꾸는지 알아보는 실험에서는 같은 질문에 서로 다른 후속 프롬프트를 제시합니다. 한쪽은 답변을 중립적으로 다시 생각해 보라고 요청하고, 다른 쪽은 가상의 영화나 인물이 실제로 존재한다고 강하게 주장할 수 있습니다. 이후 자동 채점기가 응답에 근거 없는 사실 주장이 포함됐는지 판정하고, 두 조건의 차이로 대화 압력의 효과를 추정합니다.

문제는 채점기를 검증할 때 전체 정확도나 F1 하나만 제시하는 경우가 많다는 점입니다. 이번 연구는 전체적으로 좋은 채점기라도 특정 프롬프트 비교에서는 체계적인 편향을 만들 수 있다고 지적합니다.

핵심 내용

• 오류는 프롬프트별로 달라질 수 있습니다. 한 조건에서 오탐이 더 많으면 두 프롬프트의 차이가 실제보다 커 보입니다. 반대로 차이가 축소될 수도 있고, 오류가 충분히 비대칭적이면 효과의 방향 자체가 뒤집힐 수 있습니다.
• 종합 지표가 세부 문제를 가릴 수 있습니다. 288개 응답을 대상으로 한 균형 감사에서 전체 F1은 0.916이었습니다. 그러나 주요 LLM 평가자가 근거 없는 주장이 없다고 본 응답을 채점기가 양성으로 잘못 표시한 비율은 프롬프트에 따라 2.6%에서 33.3%까지 달랐습니다. 이 프롬프트별 추정치에는 불확실성도 있었습니다.
• 같은 사례를 맞춰 비교해야 합니다. 두 번째 감사에서는 동일한 300개 모델·질문 사례에 대해 각 프롬프트의 응답을 채점기와 별도의 LLM 평가자 두 명이 판정했습니다. 확신을 단언하도록 하는 프롬프트와 중립적으로 재고하도록 하는 프롬프트의 차이는 처음에는 9.3포인트로 나타났지만, 두 평가자 모두의 결과에서는 2.3포인트로 줄었습니다.
• 방향이 같아도 확정적 결론은 아닙니다. 주요 평가자의 구간에는 0이 포함되어 증가를 입증하지 못했습니다. 다른 두 비교에서는 평가자가 달라도 방향이 유지됐지만, 프롬프트별 보정 시도는 불확실성이 너무 커 확실한 결론을 내리기 어려웠습니다.

의미와 영향

이 연구의 핵심은 채점기 자체의 성능을 검증하는 데서 멈추지 않고, 최종적으로 보고할 비교가 제대로 측정되는지 검증해야 한다는 데 있습니다. 사실성, 거부 행동, 안전성, 아첨 성향, 대화 조작에 대한 반응을 평가할 때 채점기가 전체 순위를 잘 매기더라도 특정 조건의 차이에 편향을 만들 수 있습니다.

더 신뢰할 수 있는 절차는 두 프롬프트에서 대응하는 사례를 사용하고, 조건별 오탐과 미탐을 따로 감사하는 것입니다. 여러 사람이나 LLM 평가자를 활용한다면 그 평가자들의 불확실성도 최종 효과 추정치에 반영해야 합니다. 이는 자동 평가를 폐기하자는 주장이 아닙니다. 연구자가 주장하려는 구체적인 차이에 맞춰 검증 대상을 설계하자는 제안입니다. “채점기가 전반적으로 좋은가”뿐 아니라 “이 비교를 뒷받침할 만큼 정확한가”를 물어야 한다는 뜻입니다.

출처: arXiv