LLM 검증 게이트를 많이 붙이면 정말 더 안전해질까

도입

LLM 애플리케이션에서 흔히 쓰이는 신뢰성 패턴 중 하나는 직렬 검증이다. 모델이 답을 만들면 검증기가 이를 판정하고, 여러 개의 검증 게이트를 모두 통과한 경우에만 사용자에게 반환한다. 각 게이트가 조건부로 독립이라면 게이트를 하나 더 추가할 때마다 남은 오류가 곱셈적으로 줄어들어 실패 확률은 지수적으로 감소한다.

하지만 arXiv 논문 “Partially Correlated Verifier Cascades in LLM Harnesses”는 실제 시스템에서 이 가정이 지나치게 강하다고 지적한다. 검증기들이 같은 모델 계열, 유사한 프롬프트, 비슷한 학습 데이터, 동일한 증거 소스를 공유하면 같은 유형의 오류를 함께 놓칠 가능성이 높다. 이 논문은 이러한 부분 상관 검증 캐스케이드를 설명하는 간결한 통계 이론을 제시한다.

핵심 내용

• 오답마다 통과하기 쉬운 정도가 다르다: 논문은 생성기 오답의 인스턴스별 false-accept rate를 잠재변수 α로 둔다. 어떤 오답은 쉽게 걸러지지만, 어떤 오답은 검증기가 보기에 그럴듯해 반복 검증에서도 살아남는다.
• 검증 단계의 이득은 오목하게 증가한다: 캐스케이드 이후의 사후 log-odds는 잠재분포 G의 모멘트로 표현된다. 비퇴화 분포에서는 게이트 수가 늘수록 log-odds 개선의 한계효과가 줄어든다. 독립성 기반 Odds Law는 현실적 예측이라기보다 상한에 가까운 역할을 한다.
• 실패율은 지수적이 아니라 다항식적으로 줄 수 있다: α가 Beta 분포를 따르는 경우 실패율은 게이트 깊이에 대해 거듭제곱 법칙으로 감소한다. 논문은 이를 검증기 상관 파라미터와 연결해 상관 효과를 측정 가능한 문제로 만든다.
• 블라인드스폿은 신뢰성 상한을 만든다: α=1인 오답 집단이 일정 비율 존재하면, 이 오답들은 같은 검증 계열을 몇 번 반복해도 통과한다. 따라서 추가 게이트로 얻을 수 있는 증거량에는 한계가 생기고, 신뢰성은 1보다 낮은 값에서 포화된다.
• 정답 통과율의 변동도 중요하다: 정답이 검증기를 통과할 확률 β도 인스턴스마다 다르면, 검증 캐스케이드는 장기적으로 도움이 되거나, 정체되거나, 오히려 해로울 수 있다. 이를 가르는 기준은 오답과 정답 잠재분포의 상위 꼬리 특성이다.

의미와 영향

핵심 메커니즘은 생존자 편향이다. 여러 게이트를 통과한 오류는 전체 오류의 평균적인 표본이 아니다. 오히려 현재 검증 체계가 특히 약한 고α 오류가 점점 더 많이 남는다. 그래서 같은 종류의 검증기를 반복해서 붙일수록 후반부의 추가 효과는 빠르게 감소한다.

이는 LLM 평가와 안전성 엔지니어링에 직접적인 함의를 준다. 단일 검증기의 성능만 보고 깊은 캐스케이드의 신뢰성을 외삽하면 위험하다. 논문은 동일 인스턴스에 대해 R번의 verdict를 수집하면 잠재분포의 앞 R개 모멘트를 식별할 수 있으며, 두 번의 판정만으로도 상관 파라미터를 추정할 수 있다고 설명한다.

따라서 실무적 지렛대는 단순히 “검증 게이트를 더 추가”하는 것이 아니라 탈상관화다. 서로 다른 모델 계열, 모달리티, 검색·증거 소스, 도구를 조합해 한 검증기의 블라인드스폿이 다음 검증기와 겹치지 않게 해야 한다. AI 에이전트, 코드 생성, 고위험 질의응답 시스템에서는 특히 중요한 경고다.

출처: arXiv